| Raimond de Calmont d'Olt - Évêque de Rodez et dernier seigneur | Fin du lignage en 1297. |
| Hugues III de Castelnau-Bretenoux - Baron de Calmont (1315-1350) | Renforce le château pendant la guerre de Cent Ans. |
| Jean Ier de Castelnau - Gouverneur de Guyenne (XIVe) | Capitaine général en Languedoc, fidèle au roi. |
| Thierry Plume - Propriétaire depuis 1987 | Restaure et valorise le site. |
| Guillaume de Calmont d'Olt - Évêque de Cahors (XIIe) | Fonde l'abbaye de Bonneval en 1144. |
| Alexandre de Castelnau-Clermont-Lodève - Dernier baron résident (1580-1621) | Assassiné à Espalion en 1621. |