| Armand IV d'Alègre - Baron d'Allègre | Premier seigneur connu, tué en 1361. |
| Alix de Chalençon - Veuve d'Armand IV | Chassée puis rétablie en 1365. |
| Jean Ier de Berry - Duc et protecteur | Aide Alix à reprendre le château. |
| Morinot de Tourzel - Nouveau baron en 1385 | Entreprend des travaux de réfection. |
| Yves Ier de Tourzel - Fils de Morinot | Embellit le château (mâchicoulis). |
| Yves V de Tourzel - Propriétaire en 1698 | Témoin de l’incendie du château. |