Construit din secolul al X-lea, Château Saint-Hugues este caracteristic arhitecturii militare medievale din secolele al X-lea, al XI-lea și al XII-lea. Turnuri de apărare rotunde, arcași, temniță, scări înguste. Își păstrează donjonul pătrat în stil romanic, cel mai vechi din Burgundia, aflat încă în înălțime. Este simbolul politic al vechii cetăți Semur-en-Brionnais, un sat clasificat printre „Cele mai frumoase sate ale Franței”