| Hélie | Seigneur de Chalais mentionné au XIe siècle. |
| Agnès de Chalais | Héritière ayant épousé Hélie de Talleyrand. |
| Jacques de Chabannes | Repreneur du château aux Anglais en 1453. |
| François de Talleyrand | Responsable de la reconstruction du corps de logis au début du XVIe siècle. |
| Françoise de Montluc | Entrepreneur de travaux importants au château après 1626. |
| Marie-Françoise de Rochechouart-Mortemart | Princesse de Chalais ayant accueilli Talleyrand dans sa jeunesse. |
| Hélie-Louis-Roger de Talleyrand | Prince de Chalais ayant légué le château aux hospices de la ville. |
| Yves Lecoq | Acquéreur du château en 2011 et initiateur de travaux de restauration. |