| Jean Oulès - Commanditaire initial | Riche drapier, propriétaire originel. |
| Jean de Thomas de Labarthe - Premier consul de Castres | Acheteur en 1643. |
| Famille de Nayrac - Propriétaire au XVIIIe siècle | Donne son nom à l’hôtel. |
| Henri IV - Roi de France | Créa le tribunal de Castres. |