Le couvent abritait les ermites de saint Augustin, fondé dans la première moitié du XIIIe siècle. Un groupe d'amateurs fit pression pour obtenir l'ouverture d'un musée destiné à mettre les chefs d'oeuvre toulousains à l'abri de la vindicte des révolutionnaires et surtout du pillage. Toulouse possède ainsi l'un des plus anciens musées de France, ouvert peu après le musée du Louvre à Paris.
