| Famille Stutt - Propriétaires et militaires | Originaires d’Écosse, gouverneurs locaux aux XVe-XVIe siècles. |
| François Stutt - Gouverneur de Cosne-sur-Loire | Représentant de la famille au XVIe siècle. |
| Antoine Destutt de Tracy - Philosophe et officier | Héritier du château au XVIIIe siècle. |
| Georges Simenon - Écrivain | A écrit ses premiers romans au château. |