Le fonds initial du musée des beaux-arts provient des oeuvres saisies lors des confiscations révolutionnaires effectuées en 1794 dans les édifices religieux et civils de la ville.
Il doit cependant la plus grande partie de ses richesses au fabuleux cabinet de curiosités du marquis de Robien (1698-1756) qui y avait rassemblé une impressionnante collection d'oeuvres et d'objets de toutes époques.