| Jean IV | Duc de Bretagne ayant édifié la résidence initiale. |
| Louis XIV | Roi de France ayant cédé l'édifice à la communauté de Vannes. |
| Julien Lagorce | Traiteur pâtissier ayant fait démolir l'ancien château et construit un hôtel. |
| Sieur de Rosmadec | Propriétaire ayant fait édifier son hôtel dans la basse-cour. |