| Raoul de Gacé | Premier seigneur connu du château. |
| Jean II de La Ferté-Fresnel | Seigneur ayant fait reconstruire la forteresse au XIVe siècle. |
| Jean III de La Ferté-Fresnel | Seigneur ayant fait reconstruire la forteresse au XIVe siècle. |
| Henri IV | Futur roi de France dont le grand-oncle a repris le château en 1445. |
| Anne-Charles-François de Montmorency-Luxembourg | Propriétaire du château à la veille de la Révolution. |
| Marie Duplessis | Dame aux camélias à qui est consacré un musée dans le château. |