| Raimond de Calmont d'Olt - Évêque de Rodez et dernier seigneur | Fin du lignage en 1297, donateur à la cathédrale. |
| Hugues III de Castelnau-Bretenoux - Baron de Calmont (XIVe siècle) | Prisonnier lors de la guerre de Cent Ans. |
| Bégon III de Calmont d'Olt - Seigneur (XIIe–XIIIe siècles) | Vassal du comte de Rodez face à Simon de Montfort. |
| Thierry Plume - Propriétaire-restaurateur (1987–) | Initiateur de la rénovation du site. |
| Guillaume de Calmont d'Olt - Évêque de Cahors (XIIe siècle) | Donateur de terres à l’abbaye de Bonneval. |
| Jean Ier de Castelnau - Gouverneur de Guyenne (XIVe siècle) | Capitaine général en Languedoc pendant la guerre de Cent Ans. |