| Jean d'Avenières | Propriétaire de la terre de Douzon au début du XIVe siècle. |
| Clément | Architecte responsable de la construction du nouveau château au XVIIIe siècle. |
| François du Buysson | Propriétaire qui fit construire le château dans sa forme actuelle et obtint l'érection en comté. |
| Philibert du Buysson de Douzon | Officier et député de la noblesse aux états généraux de 1789, guillotiné en 1793. |
| Louis-Charles-Antoine Girard | Acquéreur du château en 1774. |
| Jacques-Marie-Pierre Loisel | Maire d'Étroussat et président du conseil général de l'Allier, anobli en 1815. |