| Simon Le Gras de Vaubercey - Secrétaire des commandements d’Anne d’Autriche | Premier propriétaire du terrain offert par Henri IV. |
| Nicolas Le Gras - Secrétaire des commandements, fils de Simon | Fait construire l’hôtel actuel. |
| François Gaspard de Montmorin - Marquis de Saint Hérem, grand louvetier | Époux d’Anne Le Gras, donne son nom à l’hôtel. |
| Nicolas Huguet de Sémonville - Conseiller au Parlement de Paris | Propriétaire au début du XVIIIe siècle. |
| Jean-Claude Brialy - Acteur français | Y vécut jusqu’en 1984. |
| Rémi Brissiaud - Mathématicien | Y vécut de 1949 à 2020. |