| Baudouin V de Hainaut - Comte de Hainaut | Détruisit le château en 1181. |
| Gérard de Douai - Prévôt et seigneur d’Émerchicourt | Cause du conflit avec Baudouin V. |
| Gilles Brousse (ou Broisse) - Seigneur de Denain et Hasencort | Vendit les terres au XIIIe siècle. |
| Comte de Moutiers - Propriétaire et ambassadeur | Finança la rénovation au XIXe siècle. |