Origine et histoire du Refuge de l'abbaye
Une maison de refuge dépendant de l'abbaye de Prémontrés de Corneux aurait été établie à Gray dans la seconde moitié du XIVe siècle. Le bâtiment actuel date du XVIe siècle et a été élevé sous l'abbatiat de Dom Perchet, dont les armoiries figurent sur la façade antérieure du corps de bâtiment gauche. Sur la façade antérieure du corps de bâtiment droit apparaît une inscription datée de 1563, indiquant que le refuge devait servir aux religieux en temps de guerre, et la porte de l'ancienne chapelle, à droite de cette inscription, porte la date 1569. Des éléments de l'édifice du XVIe siècle subsistent : un porche voûté en berceau, une chapelle voûtée sur croisées d'ogives et une grande salle voûtée qui fut utilisée comme écurie au XVIIIe siècle. L'édifice a fait l'objet de transformations au cours du troisième quart du XVIIIe siècle ; le corps contenant la chapelle a été surélevé de deux étages, ce qui a entraîné la suppression du clocher de la chapelle. Une date de 1775, relevée en 1929 par Camille Rochard, correspondrait à la fin de cette campagne de travaux. À la même époque, l'hospice de Corneux était loué par l'abbaye à un régiment de cavaliers de la maréchaussée. Au XIXe siècle, le refuge est transformé en maison d'habitation : l'aile située entre la cour et le jardin du corps de bâtiment droit est supprimée et l'ensemble est agrandi côté jardin après la suppression de l'ancien canal du Dregeon. D'autres remaniements ont également eu lieu au XXe siècle.