| Pierre de Jollivet - Seigneur des Isles | Premier propriétaire mentionné en 1754. |
| Thomas-Charles de Morant - Marquis de Morant | Constructeur initial du manoir de Carman. |
| Edmond Puyo - Maire de Morlaix et négociant | Propriétaire en 1866, archéologue local. |
| Constant Puyo - Photographe | Fils d’Edmond Puyo, héritier du château. |
| André Le Nôtre - Paysagiste | Inspiration du jardin à la française. |