| Antoine Perrenot de Granvelle | Cardinal et propriétaire initial de l'hôtel, initiateur de sa construction. |
| Richard Maire | Architecte bisontin responsable de la construction initiale de l'hôtel. |
| Jean Maire | Fils de Richard Maire, a pris la suite du chantier après la mort de son père. |
| Thomas-François d'Oiselay | Petit-neveu du cardinal Granvelle, a hérité et vendu l'hôtel à la municipalité. |
| Charles-François Longin | Architecte probable de l'aile en retour d'équerre ajoutée au XVIIIe siècle. |
| Alphonse Delacroix | Architecte ayant reconstruit l'aile gauche et aménagé une chapelle en 1840. |
| Camille Demesmay | Sculpteur du bas-relief représentant la Vierge à l'Enfant sur la façade. |
| Denis-Philibert Lapret | Architecte probable de l'aile droite construite à la fin du XVIIIe siècle. |