| Nicolas Petitdé - Commanditaire du château | Argentier de Jean II, duc de Bourbon. |
| Anne de Bretagne - Reine de France | Séjourna au château en 1495. |
| Guillaume Antoine du Broc de Segange - Propriétaire sous la Révolution | Mort en prison à Moulins. |
| Jean Charles du Broc de Segange - Ancien émigré et maire | Maire d’Avermes (1807-1817). |
| Louis du Broc de Segange - Érudit local | Travaux sur le Nivernais et Bourbonnais. |
| Gaston du Broc de Segange - Historien et archiviste | Auteur d’*Extraits des archives du château*. |