| Comte de Milhau | Érudit local responsable de la construction de la maison néo-classique. |
| Pierre Bosviel | Marchand, avocat et maire de Mazamet, anobli sous le nom de Bosviel de Lagoutine. |
| Henri Jamme de Lagoutine | Propriétaire ayant vendu les terres autour du château au début du XXe siècle. |
| Alain Jamme de Lagoutine | Dernier propriétaire avant la vente au Centre Hospitalier de Castres-Mazamet. |