| Nicolas-Jérôme Herlaut - Premier propriétaire et commanditaire | Fait construire l’hôtel en 1703-1705. |
| Germain Boffrand - Architecte de l’hôtel | Conçoit le bâtiment pour Herlaut. |
| Madeleine de La Vieuville (marquise de Parabère) - Propriétaire et maîtresse du Régent | Acquiert l’hôtel en 1717. |
| Jacques-Charles de Fitz-James - Locataire de 1780 à 1785 | Duc ayant occupé les lieux. |
| Gustave Lebaudy - Industriel et propriétaire | Décède dans l’hôtel en 1889. |
| René Sergent - Architecte du bâtiment Louis XVI | Conçoit l’extension en 1907-1908. |