| Guillaume Ier de Chauvigny - Fondateur du château | Commanditaire de la construction en 1250. |
| Françoise de Montmorin - Héritière par mariage | Épouse Jean Motier de La Fayette. |
| Jean Motier de La Fayette - Seigneur d’Hautefeuille | Acquiert le château en 1543. |
| Madame de La Fayette - Épouse de François de La Fayette | Y séjournait au XVIIe siècle. |
| Duc de Morny - Propriétaire sous le Second Empire | Le transforme en pavillon de chasse. |
| Jean-Louis Rufenacht - Ancien propriétaire (années 1930) | Projet avorté de chambres d’hôtes. |