| Louis Le Roux d'Infreville | Propriétaire initial et commanditaire de la construction du château. |
| Geneviève Pavyot de Villette | Acquéreuse du château en 1688, ancêtre de la famille actuelle. |
| Hippolyte Destailleur | Architecte ayant transformé la cour d'honneur et construit les écuries. |
| Henri de La Haye-Jousselin | Écrivain décédé au château en 1876. |
| Gaston Duffour | Général ayant installé son quartier général au château en 1940. |