| Jean Ier de Chalon - Comte de Bourgogne et seigneur d’Arlay | Commanditaire du donjon en 1253. |
| Guillaume de Vaudrey - Seigneur de Courlaoux | Acheteur et transformateur en 1425. |
| Carlos de Watteville - Baron et mécène | Rachat et restauration au XXe siècle. |
| Georges Martin - Architecte restaurateur | Dirige les travaux de 1923 à 1933. |