| Famille de Cablanc | Famille à l'origine de la construction de l'hôtel au XVIIe siècle. |
| Comte Félix de Fayolle | Propriétaire qui a donné son nom à l'hôtel en 1891. |
| Marquis de Fayolle | Ancien propriétaire ayant vendu la partie basse du domaine à la ville de Périgueux en 1989. |