| Armand IV d'Alègre | Baron d'Allègre devenu en 1343, tué durant le siège de 1361. |
| Alix de Chalençon | Veuve d'Armand IV, chassée de la forteresse puis soutenue par Jean Ier de Berry. |
| Bertrand de Saint-Nectaire | Revendique l'héritage du château et chasse Alix de la forteresse. |
| Jean Ier de Berry | Reconquiert le château après six mois de siège en 1364. |
| Jean II d'Armagnac | Assure la garde de la place après la reconquête. |
| Morinot de Tourzel | Reçoit la baronnie en 1385 et entreprend des réparations et constructions. |
| Yves Ier de Tourzel | Fils de Morinot, poursuit les travaux et orne le château d'une frise de mâchicoulis. |
| Yves V de Tourzel | Entreprend des réparations des communs puis du château en 1699. |