| Bernard de Casnac - Seigneur cathare (XIIe–XIIIe) | Premier propriétaire connu du château. |
| Simon de Montfort - Chef de la croisade albigeoise | Prit le château en 1214. |
| Magne II de Castelnaud - Dernière héritière Castelnaud | Épouse Nompar de Caumont (1368). |
| Geoffroy de Vivans - Capitaine huguenot (XVIe) | Défendit le château pendant les guerres de Religion. |
| Philippe Rossillon - Mécène et restaurateur (XXe) | Racheta le château en 1965. |
| Kléber Rossillon - Fondateur du musée (1985) | Ouvrit le site au public. |