| Baudouin V de Hainaut - Graaf van Henegouwen | Vernietigde het kasteel in 1181. |
| Gérard de Douai - Provoost en heer van Emerchicourt | Oorzaak van conflict met Baudouin V. |
| Gilles Brousse (ou Broisse) - Heer van Denain en Hasencort | Verkoopt land in de 13e eeuw. |
| Comte de Moutiers - Eigenaar en ambassadeur | Eindigde de renovatie in de 19e eeuw. |