| Ludwig Scherer - Commanditaire initial | Chapelier de Besançon, premier propriétaire. |
| Christian Vacksterffer - Peintre attribué | Auteur présumé des fresques (1577). |
| Johann Jacob Doerner - Propriétaire (1790-1830) | Commerçant colmarien. |
| François Jean Pfister - Propriétaire (à partir de 1841) | Donne son nom à la maison. |
| Famille Judlin - Propriétaire depuis 1892 | Restaure la maison en 1909. |