| Nicolas Perrenot de Granvelle | Garde des sceaux et premier conseiller d'État de Charles Quint, constructeur de la maison. |
| Antoine Perrenot de Granvelle | Fils de Nicolas, évêque d'Arras, archevêque de Malines, cardinal et diplomate. |
| Charles Quint | Empereur pour qui Nicolas Perrenot de Granvelle était premier conseiller d'État. |
| Philippe II | Successeur de Charles Quint, auprès de qui Antoine Perrenot de Granvelle fut conseiller d'État. |
| Marguerite de Parme | Conseillère auprès de qui Antoine Perrenot de Granvelle fut premier ministre des Pays-Bas espagnols. |