| Bernard de Casnac - Seigneur d'Aillac, Castelnaud et Montfort | Reprend le château en 1215 après Simon de Montfort. |
| Simon de Montfort - Chef de la croisade des Albigeois | Prend le château en 1214 pendant la croisade. |
| Geoffroy V de Pons - Seigneur de Montfort et d'Aillac | Perte de la haute justice en 1309 pour rébellion. |
| Jacques Ier de Pons - Vicomte de Turenne, seigneur de Montfort | Condamné pour lèse-majesté en 1449, exilé en Espagne. |
| Pierre de Brézé - Seigneur de Montfort après confiscation | Cède ses biens au roi en 1481 après emprisonnement. |
| Antoine de Pons - Seigneur loyal au roi pendant les guerres de Religion | Propriétaire lors de la prise huguenote en 1574. |
| Jean Mercier - Propriétaire et restaurateur au XXe siècle | Intègre des éléments du cloître de Béthune. |
| Ghaith Pharaon - Homme d'affaires saoudien, propriétaire dans les années 1980 | Recherché par Interpol, décédé en 2017. |