| Jean de Fay - Seigneur et reconstructeur | Fait rebâtir le château fin XVIe siècle. |
| C. Tisseur - Architecte | Dirige la reconstruction sous Jean de Fay. |
| Claude de L’Estang - Propriétaire au XVIIe siècle | Précède les Grolée et Sénozan. |
| Joseph François de Grolée - Comte de Viriville, héritier | Transmet le château aux Sénozan. |
| Sabine Olivier de Sénozan - Dernière héritière Sénozan | Guillotinée en 1794 pendant la Révolution. |
| Duc de Talleyrand - Propriétaire post-Révolution | Hérite du château via son épouse. |
| Alexandre Jullien - Restaurateur du XIXe siècle | Transforme la tour en style néo-médiéval. |