| Jean Jouffroy | Cardinal et abbé de Luxeuil, donne son nom à la maison. |
| Perrin Jouffroy | Père du cardinal, possible constructeur de l'hôtel. |
| Henri Jouffroy | Frère du cardinal, responsable de l'agrandissement Renaissance. |
| Marcel Texier | Architecte des monuments historiques ayant mené des travaux de restauration. |