Σχεδιασμένο από τον νικητή του βραβείου Pritzker Gordon Bunschaft στις αρχές της δεκαετίας του 1970, το κτίριο του μουσείου είναι ένα σκληρό παράδειγμα του ύστερου μοντερνισμού: ο κύλινδρος από σκυρόδεμα υψώνεται σε στηρίγματα, μια κυκλική αυλή βρίσκεται στο κέντρο της και δημιουργήθηκε ένα πάρκο γλυπτικής γύρω από το κτίριο. Το συγκρότημα βρίσκεται στο National Mall, μια μεγάλη λεωφόρο που στεγάζει τα κύρια μνημεία των ΗΠΑ, καθώς και μερικά από τα σημαντικότερα πολιτιστικά ιδρύματα της χώρας.
Τόσο η εμφάνιση του ίδιου του Μουσείου Hirshhorn όσο και η σοβαρότητα του περιβάλλοντός του απαιτούσαν, κατά την άποψη της διαχείρισης του μουσείου, προσθήκες στο πνεύμα της εποχής (τελικά, η συλλογή Hirshhorn αποτελείται κυρίως από έργα σύγχρονων καλλιτεχνών). Εάν όμως απαιτείται η έγκριση των υπερεπιτηρητικών αρχών της πόλης για μια νέα πτέρυγα ή τουλάχιστον για την ανακατασκευή ενός παλιού κτηρίου, τότε δεν απαιτείται προσωρινή κατασκευή. Ως εκ τούτου, προέκυψε η ιδέα να δημιουργηθεί ένα διογκώσιμο αμφιθέατρο για συνέδρια, προβολές ταινιών και συναυλίες, το οποίο μπορεί να εγκατασταθεί και να αφαιρεθεί σε λίγες μέρες (προς το παρόν, προγραμματίζεται να γίνει αυτό δύο φορές το χρόνο, τον Μάιο και τον Οκτώβριο).
Οι αρχιτέκτονες του Diller Scofidio + Renfro πρότειναν να τοποθετηθεί ένα γαλάζιο "μπαλόνι" της αίθουσας συνεδριάσεων με 1000 θέσεις στην εσωτερική αυλή του κτηρίου: θα προεξέχει εν μέρει έξω από τις οροφές του κτηρίου. Η ίδια η αίθουσα θα καταλαμβάνει μόνο το πάνω μέρος του φουσκωτού όγκου, το οποίο θα κατέβει στο επίπεδο του εδάφους, όπου θα τοποθετηθεί μια είσοδος και θα τοποθετηθεί ένας σωλήνας γεμάτος με νερό, χρησιμεύοντας ως φορτίο. Τα χαλύβδινα καλώδια που περιστρέφονται γύρω από την "εγκατάσταση" θα είναι δεμένα σε αυτό. Η άκρη της "σφαίρας" θα προεξέχει προς τα έξω στο κάτω μέρος, ανάμεσα στους στύλους του κτιρίου: θα υπάρχει ένα "σαλόνι" όπου ο καθένας μπορεί να χαλαρώσει και να θαυμάσει τη θέα του Mall - αυτό το μέρος της φουσκωτής δομής θα είναι σχεδόν διαφανές.
