| Gilon de Sully - Seigneur et commanditaire | Fait construire le donjon au XIe siècle. |
| Marie d'Albret (1ère) - Commanditaire des agrandissements | Fait édifier chapelle et logis vers 1470. |
| Marie d'Albret (2e) - Commanditaire de la galerie | Galerie Renaissance construite entre 1528-1545. |
| Maximilien de Béthune, duc de Sully - Ministre d'Henri IV et propriétaire | Aménage la terrasse vers 1607. |