| Nicolas de Bernon | Seigneur de Caylus au XVe siècle, membre de la famille de Bernon. |
| Jean de Bernon | Fils de Nicolas de Bernon, héritier de l'office royal de forestier d'Angles-du-Tarn. |
| Étienne de Caylus | Propriétaire du domaine par mariage en 1538. |
| Jean de Caylus | Seigneur élevé au rang de baronnie en 1680. |
| Joseph-François de Caylus | Marquis ayant donné son nom au village en 1749. |
| Pierre Antoine Louis Euremond Poumayrac de Masredon | Propriétaire du château au début du XIXe siècle et maire du village. |
| Paul Gout | Architecte responsable de la reconstruction néo-médiévale du château en 1893. |