| Famille Bourlon - Premiers propriétaires | Donnent leur nom au monument. |
| Jean Hyacinthe Hocquart de Montfermeil - Acquéreur en 1742 | Crée le marquisat de Montfermeil. |
| Robert de Quatrebarbes - Fondateur de l’institution Saint-Paul | Propriétaire de 1935 à 1962. |