Fruit du cabinet d'histoire naturelle et de curiosités constitué par Jean-Baptiste d'Allard dans la première moitié du 19e siècle, le musée a depuis le milieu du 20e siècle étendu ses collections au thème des Beaux-Arts ainsi qu'au domaine des jeux et jouets.