| Rodolphe de Thoury | Premier seigneur connu du château, cité en 1164. |
| Goussaut de Thoury | Seigneur ayant fait enfermer son ennemi Renaud de la Motte en 1336. |
| Jean de l'Espinasse | Seigneur ayant effectué d'importants remaniements au début du XVe siècle. |
| Charles Sorel | Acquéreur du château en 1501. |
| Marguerite Sorel | Propriétaire ayant apporté la terre à Bertrand de Rollat en 1542. |
| Bertrand de Rollat | Propriétaire du château après son mariage avec Marguerite Sorel. |
| Pierre Roussaut | Acquéreur de la seigneurie en 1636. |
| Philippe de Brinon | Propriétaire de la seigneurie à partir de 1653. |
| Jean-François Valette de Rochevert | Propriétaire du château à partir de 1715. |
| Clément Conny | Acquéreur du château en 1751. |
| Amiral de Kerguelen | Personnage lié à des souvenirs familiaux conservés dans la tour de guet. |