Origine et histoire
Maison néo-classique réalisée par l'érudit local le comte de Milhau, la maison dite Jamme de la Goutine présente une façade rythmée par six pilastres plats à chapiteaux toscans qui délimitent les travées et supportent une corniche et un entablement. Le pignon Est est traité comme un temple grec : ses angles sont cantonnés de pilastres jumelés et un fronton triangulaire porte les armes de la famille. Deux oculi sont entourés de guirlandes de feuilles de laurier. À l'intérieur, les pièces de réception communiquent entre elles. Pierre Bosviel (1694-1754), marchand, avocat au Parlement et maire perpétuel de Mazamet, anobli sous le nom de Bosviel de Lagoutine, avait acquis un important domaine aux portes de Mazamet. L'un de ses descendants aurait fait édifier la demeure en 1810, tandis que d'autres sources indiquent une construction entre 1820 et 1830 ; la réalisation est attribuée au comte de Milhau, cousin du commanditaire, qui a aussi restauré les châteaux de Saint-Amans de Valtoret — dont il était propriétaire — et de Sauveterre. En 1886, une partie du domaine est cédée gratuitement pour le prolongement de la rue de la République et le passage de la ligne de chemin de fer ; en contrepartie sont réalisés les trottoirs, le macadam et l'installation du gaz. Au début du XXe siècle, Henri Jamme de Lagoutine vend les terres autour du château par phases successives ; entre 1907 et 1928, des demeures d'industriels sont construites et le démembrement se poursuit par le percement des rues Pasteur, Jules Ferry et de la Libération. Le château est vendu par Alain Jamme de Lagoutine au Centre Hospitalier de Castres-Mazamet en 1991 ; un projet de centre hospitalier lancé alors n'aboutit pas et le bâtiment est ensuite cédé à une société civile immobilière regroupant différents propriétaires. Protégé au titre des monuments historiques depuis 1992-1993, le bâtiment est aujourd'hui à l'abandon.