Το κτίριο χτίστηκε στη θέση ενός ισπανικού αποικιακού συγκροτήματος μουσείων που καταστράφηκε από τον σεισμό του 1989. Οι κομψές φόρμες και η αρχική χρήση υλικών, που χαρακτηρίζουν τον Jacques Herzog και τον Pierre de Meuron, προκάλεσαν ενεργή αντίθεση από τις συντηρητικές αρχές της πόλης, αλλά η επιμονή της διοίκησης του μουσείου κατέστησε δυνατή την υλοποίηση του έργου.
Η κατασκευή είναι πλήρως επενδυμένη με χαλκό (χρησιμοποιήθηκαν συνολικά 7602 πάνελ διαφόρων σχημάτων) και είναι το μεγαλύτερο κτίριο που καλύπτεται με αυτό το μέταλλο στον κόσμο.
Το κύριο στοιχείο του έργου είναι ένας κυρτός πύργος που υψώνεται πάνω από τους κορυφές του πάρκου Golden Gate, όπου βρίσκεται το μουσείο. Προσφέρει θέα στην πόλη και συνδέει επίσης το κτίριο με το Σαν Φρανσίσκο: το μέγεθος του πύργου του επέτρεψε να γίνει ένα αξιοσημείωτο στοιχείο του αστικού τοπίου.
Ο κύριος όγκος, ορθογώνιος σε κάτοψη, κόβεται από μικρές αυλές με φτέρες. Οι γυάλινοι τοίχοι έχουν κάνει αυτούς τους κήπους μέρος του εσωτερικού του μουσείου.
Ιδιαίτερη προσοχή δόθηκε στους αρχιτέκτονες για να τονίσει τη συνεχή ροή του χώρου: η είσοδος στο μουσείο συνδέεται με ένα μεγάλο λόμπι από μια ανοιχτή αυλή, από εκεί μια μεγάλη σκάλα οδηγεί στις αίθουσες του δεύτερου ορόφου. Αυτό διευκολύνεται επίσης από τις καμπύλες κάτοψεις των εκθεσιακών αιθουσών. Οι εσωτερικοί χώροι του μουσείου είναι διακοσμημένοι με ξύλο ευκαλύπτου.
Το κόστος ολόκληρου του έργου ήταν 190 εκατομμύρια δολάρια, τα οποία συλλέχθηκαν από ιδιώτες, παρά το γεγονός ότι τόσο η συλλογή (τέχνη από την Αφρική, την Ωκεανία, τη Μεσοαμερική) όσο και το ίδιο το μουσείο ανήκουν στην πόλη.
