| Pierre II d'Albignac - Seigneur et fondateur | Initiateur de la construction en 1470. |
| Flore de Capluc - Épouse et héritière | Apporte les terres de Capluc. |
| Pierre III d'Albignac - Seigneur et guerrier | S'empare du trésor protestant en 1559. |
| Simon d'Albignac - Seigneur et bâtisseur | Agrandit le domaine en 1607. |
| François Ier d'Albignac - Seigneur et mécène | Construisit la chapelle en 1669. |
| Philippe-François d'Albignac - Dernier seigneur et évêque | Exilé en 1792, accusé à tort. |