该博物馆的起源可以追溯到1961年,当时SNCF决定将其历史材料分入绍恩河畔查龙和塞赞纳的矿藏. 同年,穆尔豪斯市在多尔纳赫提供了大量赞助这些藏品. 1969年,"法国化学家协会"(Association du musée Français du Chemin de fer)成立,1971年,博物馆因两位爱好者:穆尔豪斯工业家让-马蒂斯·霍伦伯格和巴黎铁路专家米歇尔·多尔(Michel Doerr)的倡议而开馆. 首批机车最初存放于绍恩河畔查隆,后被转移至穆尔豪斯.
1976年,博物馆迎来了第一批新建筑的参观者. 1983年启用了扩建工程,每年接待游客24万人. 面对交通量的下降,2005年启动了一次大改造,委托文化空间公司,已经管理了汽车城. 国家、阿尔萨斯地区、上灵省和穆尔豪斯市提供了860万欧元的预算,使空间现代化成为可能。 建筑师弗朗索瓦·塞涅(François Seigneur)设计出一幅浸润的相片"Le siècle d'or du chemin de fer"(1860-1940),突出显示一个6000平方米的大厅有104个房间.
自2011年起,博物馆以教学为主,以"清史稿"等互动展览为主,以60多台机车为主. 2014年,增加了6000平方米的户外面积"Le Panorama rail",并辅以主题餐厅和铁路基础设施展览会. 位于Charleville-Mézières的附属建筑,除特殊事件外不向公众开放,存放了部分藏品. 博物馆名称于2017年演变为"Cité du Train-Herit SNCF".
