Origine et histoire de la Porte de ville
La porte de ville de Noyers‑sur‑Serein, dite porte d'Avallon, porte du Midi ou porte Peinte, se situe au sud‑est du bourg. Elle est contemporaine des remparts édifiés à la fin du XIIe siècle par Hugues de Noyers, évêque d'Auxerre et tuteur de Miles VII, et la construction de l'enceinte ainsi que de ses ponts et portes est attestée par la charte de fondation de Miles VIII en 1232. La charte précise que le seigneur accorde divers droits aux habitants et que ceux‑ci doivent acquitter la moitié des frais de construction de l'enceinte, depuis la porte de Venoise jusqu'à la Porte de Noyers‑ville et jusqu'à la Porte de la Rue, le sire prenant en charge l'autre moitié et s'engageant à construire les ponts. En 1376, les habitants se plaignent que leur seigneur refuse de participer au financement de l'entretien des murailles. Les fortifications ont été restaurées à plusieurs reprises, notamment au XVe siècle, période pendant laquelle le duc de Bourgogne accorda à la ville la remise de certains impôts : "la petite pinte sur le vin, celui de la maille sur le pain et celui du sel vendu au grenier". L'enceinte comprenait vingt‑trois tours et trois portes. L'accès sud était défendu par la Tour des Enfants Perdus, détruite en 1805 ; l'arpenteur Marat, en 1713, la décrivait ainsi : "sous ce pavillon sont 3 portes sans aucune fermeture, la 1ère est celle au‑devant de laquelle se levait autrefois ledit pont‑levis, la 2e porte a communication aux avenues du Pré de l'Echelle et la 3e porte a communication au pavé et levée qui va du côté de la Porte Peinte". La Porte Peinte, entièrement rebâtie au XVe siècle, était autrefois ornée de deux panonceaux peints aux armes seigneuriales, d'où son appellation, et un pont‑levis y fut ajouté en 1491. Au nord, deux portes encadraient la colline Saint‑Georges, site du château : la Porte de la Rue (ou Porte de Tonnerre) et la Porte de Venoise, aujourd'hui disparue ; Marat décrit la tour de Venoise et son corps de garde, neuvième tour à partir de la Porte Peinte, comme une "tour voûtée et une chambre sur la voûte où il y a une cheminée". En 1778, les herses et les portes de la ville furent démontées. L'édifice est inscrit au titre des monuments historiques en 1926.