| Jacques de Vassan - Financier | Acheteur initial en 1636 |
| Marquis de Villette - Propriétaire au XVIIIe siècle | Commanditaire des transformations |
| Charles De Wailly - Architecte | Auteur des décors de 1766–1769 |
| Voltaire - Philosophe | Y meurt en 1778 |
| Henri Ribière - Résistant (Libération-Nord) | Lieu de rencontre pendant l'Occupation |
| Jacques Vergès - Avocat | Décédé en 2013 dans la chambre de Voltaire |