Allein die Architektur dieses Museums ist eine Besonderheit: ein wuchtiger, mehrstöckiger Rundbau, den der Wiener Volksmund abschätzig „Narrenturm“ nennt. Die Bezeichnung geht auf die „k. k. Irrenanstalt zu Wien“ zurück, die erste Europas, die Kaiser Joseph II. 1784 errichten ließ. Der für seinen Reformeifer bekannte Sohn Maria Theresias finanzierte das Projekt aus seiner Privatschatulle, der Wiener Architekt Josef Gerl setzte es um.
So konnten in der Habsburgermonarchie erstmals psychisch Kranke systematisch behandelt und betreut werden. Allerdings war damit auch beabsichtigt, diese Menschen von den anderen zu trennen. Jährlich wurden im Narrenturm rund 600 Patienten (überwiegend Männer) aufgenommen und in 139 Zellen zu je 13 Quadratmetern untergebracht. Sie konnten sich in dem weitläufigen Gebäude frei bewegen. Nur „Tobsüchtige“ sperrte man ein, manche wurden auch angekettet. Beruhigungsmittel gab es damals nicht.
