| Jean de Thomas de Labarthe | Premier consul de Castres et acquéreur de l'hôtel en 1643. |
| Monsieur de Nayrac | Acquéreur de l'hôtel en 1753, donnant son nom à l'édifice. |
| Pierre de Thomas de Labarthe | Petit-fils de Jean de Thomas de Labarthe, vendeur de l'hôtel en 1753. |