| Bernard d'Alion - Seigneur d'Usson et vassal du comte de Foix | Protégea les cathares, condamné pour hérésie. |
| Cardinal de Richelieu - Ministre de Louis XIII | Ordonna le démantèlement en 1638. |
| Marquis de Bonnac - Noble acquéreur en 1711 | Fit réaménager le château en demeure. |
| Victor Canas - Architecte du XVIIIe siècle | Dirigea les travaux de transformation. |