| Jacques Charlot de la Vergne | Propriétaire initial de l'hôtel particulier. |
| Jeanneau | Épouse de Jacques Charlot de la Vergne, propriétaire du terrain. |
| Jean-Hilaire Charlot | Fils de Jacques Charlot et Jeanneau, mari d'Isabelle-Julie de Pervinquière. |
| Isabelle-Julie de Pervinquière | Épouse de Jean-Hilaire Charlot, donnant son nom à l'hôtel. |
| Marceau Bretaud | Maire ayant acquis l'édifice après la Seconde Guerre mondiale. |
| Stülpnagel | Général allemand ayant occupé l'immeuble pendant la Seconde Guerre mondiale. |
| Von Rundstedt | Général allemand ayant occupé l'immeuble pendant la Seconde Guerre mondiale. |