| Jean de Laduguie - Seigneur et probable constructeur | Mentionné comme « sieur de la Tour de Lestanch » en 1482. |
| Famille Labrunie - Propriétaires au XVIIe siècle | Ajoutent un logis adjacent à la tour. |
| Pierre de Montalembert - Héritier de la maison noble | Agrandit le logis après 1777. |
| Frères Bonnefoux de Penne - Propriétaires au XIXe siècle | Modernisent les percements de la tour. |
| Lucile Bourrachot - Historienne spécialiste | A étudié les barrages du Lot à Penne. |