| Jacques Lemercier - Architecte présumé | Attribution incertaine du palais. |
| Pierre Le Muet - Architecte présumé | Autre nom évoqué pour la conception. |
| Napoléon - Empereur des Français | Hébergé une nuit au palais. |
| Adolphe Thiers - Homme d'État | Séjourné au palais épiscopal. |
| Georges Bataille - Écrivain et conservateur | Y écrivit *Histoire de l'érotisme*. |
| Armand Le Véel - Sculpteur | Auteur de la statue de Jeanne d'Arc (1899). |