| Henri III Plantagênet - Commanditaire présumé | Attribution incertaine du donjon |
| Pont de Vivonne - Premier seigneur attesté | Mentionné en 1368 comme propriétaire |
| Jean III Isle de la Cave - Héritier en 1521 | Reçoit l’Isleau de son oncle |
| François Isle de la Matassière - Propriétaire en 1557 | Hérite du domaine familial |
| Daniel Isle de Forgette - Dernier héritier Isle | Propriétaire à partir de 1578 |