| Géraud de l’Isle-Arbéchan - Premier châtelain connu | Vassal du comte de Fezensac en 1140. |
| Jean Ier d'Armagnac - Comte d'Armagnac | En fit sa résidence principale (1400-1410). |
| Odile de Goth - Épouse de Jean Ier | Morte au château de Lavardens. |
| Charles Ier d'Armagnac - Dernier comte d'Armagnac | Tenta de conserver Lavardens après 1473. |
| Antoine de Roquelaure - Maréchal et seigneur de Lavardens | Reconstruit le château à partir de 1620. |
| Pierre Souffron - Architecte | Collabora à la reconstruction (1620). |
| Pierre Levesville - Architecte | Associé aux travaux du château. |
| Victor de Riqueti - Marquis de Mirabeau | Acheteur en 1752, fit des travaux. |
| Vincent Steux - Sauveteur du château | Lança la restauration en 1961. |