Der Neubau zwischen dem Rathauspatz und der Kriegsruine St. Alban steht auf historischem Grund und die architektonische Umgebung zeugt von der jahrhundertealten Geschichte dieses Ortes.
So können Ausgrabungen eines römischen Tempels und mittelalterliche Kellergewölbe im Untergeschoss des Museums besichtigt werden.
Das Museum besteht aus zwei Gebäudeteilen: an die Kirchenruine St. Alban schließt der Verwaltungstrakt mit Graphischer Sammlung, Büros, Werkstätten und Stiftersaal mit 300 Sitzplätzen an. Das verglaste Treppenhaus verbindet diesen dreifach gestuften Bau mit dem Kubus. Es greift den Verlauf der Gasse "In der Höhle" auf und stellt damit eine Verbindung zur Wohnadresse von Stefan Lochner, dem berühmtesten Kölner Maler des Mittelalters, her.
Im Kubus sind im Erdgeschoß das großzügige Foyer, in den drei Obergeschossen die Dauerausstellung und im Untergeschoß Raum für Sonderausstellungen untergebracht. Die Ausstellungsfläche beträgt 3.300 qm, weitere 800 qm stehen für Sonderausstellungen zur Verfügung. Der strengen und klaren Struktur der Architektur entsprechend erfolgt die Epocheneinteilung nach Geschossen:
Die Außenwirkung des Museums ist von dem massiven Kubus mit der Fassadengestaltung mit Sandstein aus der Eifel bestimmt. Die Fläche wird von Schiefertafeln unterbrochen, in die der Künstler Ian Hamilton Finlay die Namen der in den Sammlungen vertretenen Künstler eingemeißelt hat.
Im Innern schaffen Lichtdecken ein gleichmäßiges Oberlicht, das an Tageslicht erinnert. Ebenso wie die Bodengestaltung sind die Quadraturen der Decke an dem einheitlichen Rastermaß von 96 cm Kantenlänge orientiert, das O.M. Ungers von der Vierung St. Albans abgeleitet und allen Teilen des Gebäudes zugrundegelegt hat.