| Famille de Calmont d'Olt | Seigneurs fondateurs du château, puissants lignages féodaux |
| Raimond de Calmont d'Olt | Évêque de Rodez et seigneur, dernier représentant de la famille originelle |
| Hugues III de Castelnau-Bretenoux | Baron de Calmont d'Olt, capturé pendant la guerre de Cent Ans |
| Thierry Plume | Propriétaire et restaurateur du château à partir de 1987 |
| Jean Chandos | Lieutenant anglais ayant reçu l'hommage des consuls d'Espalion en 1362 |