| Seigneurs de Duesme - Premiers propriétaires et bâtisseurs | Initiateurs de la forteresse au XIIe siècle. |
| Ducs de Bourgogne - Propriétaires et fortificateurs au XIVe siècle | Renforcent le château en 1355. |
| Henri IV - Roi de France, ordonnateur du démantèlement | Détruit la forteresse en 1595. |
| Ligueurs - Occupants pendant les guerres de Religion | Prennent le contrôle avant 1595. |