| Charles le Simple | Roi ayant donné le site aux moines de Sainte-Marie d'Orbieu. |
| Philippe de Lévis | Abbé de Lagrasse de 1501 à 1537, longtemps attribué comme constructeur du château. |
| Prédécesseur de Philippe de Lévis | Probable constructeur du château, identifié par l'écusson d'Abzac de la Douze. |