De nederzetting Noviomagus Treverorum werd in 275 n.Chr. door Germanen verwoest. Begin 4e eeuw werd op deze locatie een castellum gebouwd van 112x131m groot, voorzien van 13 torens en 2 toegangspoorten. Het castellum beschermde een aanlegplaats voor de scheepvaart en de weg van Trier naar Mainz. Voor de fundamenten is onder andere gebruik gemaakt van grafmonumenten uit de omgeving. Na de Romeinse tijd is een deel van de muren hergebruikt voor de Helenenburg.
Nog tot in de 17e eeuw waren er torens en muren zichtbaar en in de 19e eeuw stond nog een deel van de muren overeind. Vanwege interesse voor de grafmonumenten zijn eind 19e eeuw de restanten van de muren afgebroken; de aangetroffen delen van de grafmonumenten zijn naar het museum in Trier overgebracht. Een van de torens aan de noordzijde van het castellum is aan de afbraak ontkomen en is in 1997 herontdekt; de resten van deze toren zijn zichtbaar gemaakt en toegankelijk voor bezoekers.
De loop van de castellummuren is deels nog zichtbaar aan de bebouwing en het stratenpatroon. Naast de kerk is tevens de locatie van de muren zichtbaar gemaakt door deze opnieuw in steen op te metselen.