| Seigneurs de Luc - Premiers propriétaires | Liés aux barons de Randon et maison de Joyeuse. |
| Famille Polignac - Propriétaires ultérieurs | Possession partagée avec d’autres seigneurs locaux. |
| Béraud d'Agrain des Ubas - Gentilhomme secouriste | Menait les secours lors du siège de 1380. |
| Cardinal de Richelieu - Commanditaire de la destruction | Ordonna la démolition après 1630. |