| Simonin de Barisey - Bailli de Brixey et seigneur | Commanditaire de la maison forte. |
| Famille de Barisey - Seigneurs médiévaux | Propriétaires durant tout le Moyen Âge. |
| Famille des Armoises - Seigneurs de Richardménil | Propriétaires partiels (XVIe–XVIIe siècles). |
| Famille de Silly - Propriétaires au XVIIIe siècle | Derniers seigneurs connus du château. |