| Françoise-Marie de Bourbon, duchesse d'Orléans - Propriétaire et mécène | Fit du château sa résidence favorite. |
| Claude Desgots - Paysagiste | Redessina les jardins du château. |
| Jean Valade - Peintre | Auteur des peintures de l'Ermitage. |
| Louis-Philippe d'Orléans - Dernier propriétaire noble | Vendit le domaine en 1769. |
| Baron de Batz - Propriétaire post-révolutionnaire | Utilisa l'Ermitage pour des réunions. |
| François Pomerel - Propriétaire au XIXe siècle | Vendit le pavillon à l'Assistance publique. |