| Jean Bouteroue d'Aubigny - Propriétaire initial et constructeur | Fait bâtir le premier château. |
| Étienne François de Choiseul - Duc et ministre de Louis XV | Transforme Chanteloup en résidence somptueuse. |
| Louis-Denis Le Camus - Architecte du duc de Choiseul | Conçoit pagode et aménagements. |
| Jean-Antoine Chaptal - Ministre de Napoléon, propriétaire | Tente une exploitation agricole avant la vente. |
| René-Édouard André - Architecte restaurateur (XXe siècle) | Sauve et restaure la pagode. |