Die Peterskirche am südöstlichen Teil des früheren Petersklosters gelegen, ist eine dreischiffige romanische Pfeilerbasilika. Die ehemalige Kirche des einst einflussreichen Benediktinerklosters St. Peter und Paul ist einer der frühesten und bedeutendsten romanischen Kirchenbauten in Thüringen. Mit ihren 75 Metern Länge gilt sie als erster Großbau der Hirsauer Schule auf thüringischem Boden. Sie entstand in den Jahren 1103 bis 1147. Neben Dom und Severikirche bestimmte sie mit ihren der Stadt zugewandten Osttürmen jahrhundertlang das Erfurter Stadtbild. Hier fanden bis zum Ende des 13. Jahrhunderts zahlreiche Reichs- und Hoftage der deutschen Kaiser und Könige sowie Synoden statt.
1803 wurde das Kloster säkularisiert. Bei der Beschießung der von französischen Truppen besetzten Zitadelle Petersberg durch die Preußen im Jahr 1813 geriet das Kloster in Brand und die Kirche brannte aus. Die Klostergebäude wurden danach vollständig abgetragen. Die Peterskirche selbst wurde 1820 militärisches Proviantmagazin. Dazu wurden Ihre Türme abgebrochen und der Obergaden bis auf die Höhe der Seitenschiffe abgetragen. Das ehemalige Kirchengebäude, in das man drei Lagerebenen eingebaut hatte, erhielt darüber hinaus auch einen neuen Dachstuhl.

Trotz dieser Zerstörungen und der zweckentfremdeten Nutzung über viele Jahrzehnte hinweg kann man noch heute die monumentale Würde dieses Bauwerks erfahren. Architektonische Struktur, Mauertechnik, bauplastische Details, Fragmente bildlicher Darstellungen und Inschriften legen Zeugnis ab von seiner langen Geschichte und von der Großartigkeit mittelalterlicher Baukunst.

1993 wurde in der ehemaligen romanischen Klosterkirche St. Peter und Paul die Idee eines Künstlermuseums für Konkrete Kunst umgesetzt. In der Besuchern ganzjährig offen stehenden Präsentation sind 110 Künstler aus 16 Nationen vertreten. Am 10. März 1994 ging das Gebäude in die Trägerschaft der Stiftung Thüringer Schlösser und Gärten über.