| Novi Léon - Négociant et conseiller du roi | Commanditaire des travaux de 1660. |
| Famille Novi - Seigneurs de Caveillac | Propriétaires au XVIIIe siècle, rénovateurs en 1773. |
| Famille Mazel - Occupants au XIXe siècle | Propriétaires de 1856 à 1901. |
| Architecte Chouleur - Occupant et éponyme | Propriétaire de 1901 à 1985. |
| Intendant du Languedoc - Résident occasionnel | Utilisait l’hôtel lors de ses séjours. |