| Seigneurs de Gabrias | Seigneurs ayant aménagé la manse en château au XIVe siècle. |
| Famille Calvet | Propriétaire du château à la fin du XVIe siècle, marquée par les guerres de Religion. |
| Famille de Retz | Propriétaire du château de 1587 à 1849, responsable des aménagements majeurs. |
| Famille Rousset | Propriétaire du domaine depuis 1906, engagée dans la restauration du château. |