| Guillaume de Montaigu | Propriétaire de la seigneurie de Lusigny en 1290. |
| Jacques de Vienne | Cède la seigneurie à Jean de Montet en 1602. |
| Bernard de Royer | Propriétaire ayant édifié le château actuel en 1690. |
| Nicolas de Ganay | Propriétaire ayant transformé profondément l'édifice en 1748. |
| Guillaume Lazare de Ganay | Fils de Nicolas de Ganay, responsable des transformations majeures du château. |
| Hugues de Varine-Bohan | Gère et développe le château dans les années 1950. |
| Pierre Julien | Sculpteur attribué des médaillons en plâtre du château. |