| Joseph François de La Croix de Castries - Marquis de Castries | Premier propriétaire de la famille Castries. |
| Charles Eugène Gabriel de La Croix de Castries - Maréchal de France | Commanditaire des travaux du XVIIIe siècle. |
| Edmond de La Croix de Castries - Deuxième duc de Castries | Responsable de la restauration du XIXe siècle. |
| Joseph-Antoine Froelicher - Architecte | Dirige les travaux de 1843 à 1863. |
| Stendhal - Écrivain | Décrit l’hôtel dans deux œuvres. |