| Jacques de Rivière | Conseiller au Parlement et constructeur initial de l'hôtel. |
| Pierre Caumels | Acheteur de l'hôtel en 1588. |
| Jean-Georges de Caulet | Propriétaire de l'hôtel au début du XVIIe siècle. |
| Anne de Caulet de Gramont | Propriétaire de l'hôtel au milieu du XVIIIe siècle. |
| Anne de La Roche | Marquise de Gensac et propriétaire de l'hôtel en 1789. |