| Antoine Perrenot de Granvelle - Cardinal et commanditaire | Initiateur de la construction en 1581. |
| Richard Maire - Architecte bisontin | Concepteur initial, mort en 1585. |
| Jean Maire - Architecte successeur | Fils de Richard, reprend le chantier. |
| Thomas-François d’Oiselay - Héritier du cardinal | Vend l’hôtel à Besançon en 1618. |
| Jacques Henri de Durfort - Premier gouverneur résident | Occupe l’hôtel à partir de 1677. |
| Jean-Baptiste de Durfort - Duc de Duras | Responsable des agrandissements en 1734. |
| Alphonse Delacroix - Architecte du XIXe siècle | Reconstruit l’aile gauche en 1840. |