| Robert d'Ailly | Seigneur ayant fait édifier le manoir initial au XIe siècle. |
| Jean de Villiers | Seigneur d'Ailly, dit le Sauvage, vaillant contre les Anglais. |
| Charles d'Aubert d'Ailly | Transforma le bâtiment en 1721. |
| Nicolas Vauquelin Des Yveteaux | Poète libertin et précepteur de César de Vendôme. |
| Louis-Charles Vauquelin des Chesnes | Propriétaire ayant découvert les casques d'Ailly en 1832. |