Η βάση του νέου κτηρίου διαμορφώνεται από τα ερείπια της ύστερης Ρωμανικής εκκλησίας της Αγίας Κολούμπας, κάποτε το κέντρο της μεγαλύτερης ενορίας της μεσαιωνικής Κολωνίας. Το 1945, καταστράφηκε κατά τη διάρκεια αεροπορικής επιδρομής σχεδόν στο έδαφος, μόνο το ασβεστολιθικό άγαλμα της Παναγίας στον βωμό του ναού παρέμεινε ανέπαφο, για το οποίο ο Gottfried Boehm έχτισε αργότερα ένα ειδικό παρεκκλήσι το 1950. Ταυτόχρονα, τα ερείπια της εκκλησίας μετατράπηκαν σε ένα είδος αναμνηστικής πλατείας. Στις αρχές της δεκαετίας του 1970, στην επικράτειά της, οι αρχαιολόγοι ανακάλυψαν τα ερείπια κτιρίων από διαφορετικές εποχές της ύπαρξης της Κολωνίας - αρχαία ρωμαϊκά, πρώιμα μεσαιωνικά, ρωμαϊκά και γοτθικά.
Ένα τέτοιο αντικείμενο πολιτιστικής και ιστορικής κληρονομιάς είναι από μόνο του ασυνήθιστα δύσκολο να γίνει αντιληπτό και να διατηρηθεί, αλλά όταν το Μουσείο της επισκοπής της Κολωνίας αποφάσισε να χτίσει στη θέση του - μέσα και γύρω από τα υπάρχοντα ερείπια - ένα νέο κτίριο για να παρουσιάσει την εκτενή συλλογή θρησκευτικών τέχνη από τα τέλη της αρχαιότητας έως και σήμερα, η κατάσταση έχει γίνει πολλές φορές πιο περίπλοκη. Η απόφαση επέκτασης του μουσείου ελήφθη το 1974, αλλά τα ερείπια της Εκκλησίας της Αγίας Κολούμπας επιλέχθηκαν ως νέα τοποθεσία μόνο στις αρχές της δεκαετίας του 1990. Το 1997, διοργανώθηκε ένας αρχιτεκτονικός διαγωνισμός, στον οποίο κέρδισε το έργο του εξαιρετικού Ελβετού αρχιτέκτονα Peter Zumthor. Η κριτική επιτροπή σημείωσε την αξιοσημείωτη ικανότητα με την οποία ο Zumthor μπόρεσε να συνδυάσει θραύσματα 2000 ετών αρχιτεκτονικής ιστορίας της Κολωνίας (από τα θεμέλια των κτιρίων των αρχαίων Ρωμαίων έως το παρεκκλήσι "Madonna in the Ruins" του Boehm το 1950) σε ένα ενιαίο σύνολο, που είναι κάτι περισσότερο από το άθροισμα των μερών του.
Η αποκατάσταση και συντήρηση των αρχιτεκτονικών υπολειμμάτων χρειάστηκε αρκετά χρόνια και η κατασκευή του ίδιου του Μουσείου του Κολόμβου ξεκίνησε μόνο το 2003.
Το κτίριο μοιάζει με το λατινικό L σε κάτοψη και αναπτύσσεται σε ορθή γωνία προς το δρόμο. Οι τοίχοι του, επενδεδυμένοι με επίπεδα και φαρδιά ανοιχτό γκρι τούβλα με παχιά στρώματα συνδετικού κονιάματος, δεν φαίνονται καθόλου, χάρη στην λεπτή υφή της επιφάνειας, το αποτέλεσμα της εργασίας ενός πλινθοδομή. Τα ερείπια των τειχών της εκκλησίας είναι ενσωματωμένα σε αυτά στο ισόγειο και πάνω από αυτά είναι σπασμένα τμήματα "διάτρησης" και μεγάλα ορθογώνια παράθυρα, σε αντίθεση με το μνημειώδες βάρος του τοίχου πάχους 60 εκ. Το σχέδιο της εκκλησίας περιλαμβάνει μια μικρή αυλή με χαλίκια στην τοποθεσία του παλιού κοινοτικού νεκροταφείου. Ο επισκέπτης το μπαίνει στο δρόμο από το λόμπι προς τον κύριο «εκθεσιακό χώρο» του πρώτου ορόφου. Αυτή η "αίθουσα" είναι ένα τεράστιο δωμάτιο ύψους 12 μ., Κατά μήκος του οποίου βρίσκεται μια γέφυρα ζιγκ-ζαγκ πάνω από τα θεμέλια αρχαίων και μεσαιωνικών κτιρίων που βρέθηκαν ως αποτέλεσμα αρχαιολογικών ανασκαφών. Ο Zumthor χρησιμοποίησε τεχνητό φωτισμό πολύ φειδώ εδώ, έτσι σχεδόν όλο το φως εισέρχεται μέσα από λωρίδες μικρών οπών στους εξωτερικούς τοίχους του κτηρίου. από μέσα, αυτή η τεχνική υπογραμμίζει περαιτέρω την φαινομενική διάσπαση αυτών των τειχών, η οποία μπορεί να θεωρηθεί ως υπαινιγμό για τις αρχές της γοτθικής ιερής αρχιτεκτονικής ή ως αναφορά στα έργα των μυστικιστών εκείνης της εποχής. Το οκτάεδρο του παρεκκλησιού Boehm είναι χαραγμένο στον ίδιο χώρο, ο οποίος, ωστόσο, είναι προσβάσιμος έξω από το μουσείο.
Στο τέλος, μια γέφυρα οδηγεί τον επισκέπτη στις εγκαταστάσεις του πρώην ιερού, μετατράπηκε σε μια μικρή αυλή. υπάρχει ένα γλυπτό του Ρίτσαρντ Σέρρα «Πνίγηκε και Διάσωσε».
Πάνω από την πρώτη βαθμίδα, υπάρχουν δύο ακόμη όροφοι εκθεσιακών αιθουσών, συνολικά δεκαέξι. Έχουν σχεδιαστεί ως ανεξάρτητα μπλοκ - "σπίτια", μεταξύ των οποίων τοποθετούνται "δρόμοι" λευκού τεράζου. κάθε αίθουσα διαφέρει από άλλες σε μέγεθος, μέθοδο και ένταση φωτισμού και διαδρομή επιθεώρησης. Τα εκθέματα εκτίθενται σε αυτά χωρίς να παρατηρείται η χρονολογία και χωρίς επεξηγηματικά κείμενα και ετικέτες. Έτσι, οι επιμελητές του μουσείου ήθελαν να επιτύχουν μια αμερόληπτη αντίληψη των έργων τέχνης από το κοινό.
Στο έργο του μουσείου επισκοπής της Κολωνίας, ο Zumthor συνήθιζε να ενώσει πολιτιστικά μνημεία από διαφορετικές εποχές - και τα δύο αρχιτεκτονικά, που βρίσκονται επί τόπου, και συμπεριλαμβανόμενα στη συλλογή του μουσείου - μια έμφαση λακωνική επίσημη αρχιτεκτονική γλώσσα, μαλακή από την προσοχή του αρχιτέκτονα στις ιδιαιτερότητες του υλικό, στις απτικές και οπτικές του ιδιότητες. Ένας ιδιαίτερος ρόλος παίζει ο φωτισμός, ο οποίος είναι σχεδόν ανεπαρκής για πλήρη έλεγχο των εκθεμάτων, αλλά δίνει στην αντίληψή τους μια ιδιαίτερη οξύτητα. Όλα αυτά κάνουν αυτό το έργο, τουλάχιστον εξωτερικά, παρόμοιο με τα θρησκευτικά κτίρια του Μεσαίωνα, την εποχή της κατασκευής της κατεστραμμένης εκκλησίας της Αγίας Κολούμπας, η οποία του έδωσε το όνομά της, καθώς και την εποχή της ηγεμονίας του Καθολικισμού στο έδαφος της Γερμανίας, που δεν γνώριζε ακόμη τις αναταραχές της Μεταρρύθμισης Ταυτόχρονα, η χρήση των τεχνικών της ιερής αρχιτεκτονικής στο κτίριο ενός μουσείου - ακόμη και ενός μουσείου θρησκευτικής τέχνης - κάνει κάποιον να σκεφτεί μια βαθιά αλλαγή στο σύστημα προτεραιοτήτων ενός σύγχρονου ατόμου, όχι μόνο για τη μετατόπιση πνευματικά ιδανικά για μια πιο «κοσμική» εικόνα του κόσμου, αλλά και για μια συγκεκριμένη «λαϊκιστική» πτυχή ολόκληρης της σφαίρας του σύγχρονου πολιτισμού. Ωστόσο, δεν πρέπει να ξεχνάμε ότι η ίδια αρχιτεκτονική των μεσαιωνικών καθεδρικών ναών της Δύσης σχεδιάστηκε όχι για μια χούφτα της ελίτ, αλλά για όλους τους πιστούς χωρίς εξαίρεση. Ίσως ο Zumthor συνεχίζει αυτή τη γραμμή στο Μουσείο του Κολόμβου, απευθυνόμενος σε όλους μας μέσω του σχεδιασμού του κτιρίου του.