| Bernard II d'Arpajon - Seigneur de Brousse | Hérite du château en 1204. |
| Jean Ier d'Arpajon - Seigneur controversé | Enlève Hélène de Châteauneuf en 1348. |
| Jean d'Armagnac - Prisonnier torturé | Emprisonné et aveuglé en 1404. |
| Jean-François Peyrot de Valhausy - Dernier seigneur avant la Révolution | Guillotiné en 1794. |
| Joseph Delauro - Député et dernier propriétaire privé | Vend le château en 1839. |