| François d'Estaing | Évêque ayant fait édifier des appartements et la tour de Guet. |
| François de Corneilhan | Évêque ayant fait construire une terrasse sur arcade le long du boulevard d'Estourmel. |
| Paul-Louis-Philippe de Lezay de Lusignan | Évêque ayant fait édifier le palais actuel entre 1684 et 1694. |
| Joseph Bourret | Cardinal ayant modifié le palais entre 1871 et 1875. |