| Jean de La Trémouille | Seigneur de Courcelles-lès-Semur à l'origine du démembrement de la seigneurie. |
| Marie-Jacqueline Desgeorges | Propriétaire du domaine de Villars à la fin du XVIIe siècle. |
| François Damoiseau | Époux de Marie-Jacqueline Desgeorges et propriétaire du domaine. |
| François de Chastenay | Propriétaire qui fait construire le château en 1767. |
| Marie-Claude Champion | Maire d'Avallon et propriétaire du domaine en 1791. |
| René de Burtel de Chassey | Propriétaire du château à partir de 1921. |