| Paul Bailly | Propriétaire initial de l'hôtel, fils de Chrestienne Leclerc du Vivier. |
| Hugo Grotius | Juriste néerlandais ayant vécu en exil dans l'hôtel. |
| Louis Oger de Cavoye | Acquéreur et embellisseur de l'hôtel en 1679. |
| Jules Hardouin-Mansart | Architecte ayant participé à l'embellissement de l'hôtel. |
| Antoine Lepautre | Décorateur ayant participé à l'embellissement de l'hôtel. |
| Daniel Gittard | Architecte ayant reconstruit le corps de logis en 1686. |
| Louise Philippe de Coëtlogon | Épouse du marquis de Cavoye, propriétaire de l'hôtel. |
| Madame Lehr | Millionnaire américaine ayant acheté l'hôtel en 1923. |
| Bernard Tapie | Propriétaire de l'hôtel de 1986 à 2021. |
| François Pinault | Acquéreur de l'hôtel en 2021. |