Binnen weniger Jahre schufen der Architekt Filiberto Lucchese sowie die Baumeister Carl Martin Carlone und Dominico Carlone einen prächtigen Bau mit einer frühbarocken Fassade, in dem unter anderem die Wohnräume des Kaiserpaars sowie der Kaiserinwitwe Eleonora Magdalena Gonzaga eingerichtet werden sollten. Anfang 1668 hatte Letztere mitsamt ihrem Hofstaat den dritten Stock des Neubaus gerade bezogen, als es in der Nacht auf den 23. Februar 1668 zur Katastrophe kam: Ein, so heißt es, betrunkener Handwerker verursachte durch Unachtsamkeit einen Brand. Eleonora und ihr Hofstaat konnten gerade noch in Sicherheit gebracht werden, doch das über Stunden wütende Feuer richtete verheerenden Schaden an. Nicht nur brannte der gerade neu errichtete „Leopoldinische Trakt“ fast bis auf die Grundmauern nieder, auch die kostbare Ausstattung und Möblierung wurden zerstört. Kaiser Leopold I. ordnete sofort den Wiederaufbau an und legte ihn erneut in die Hände Filiberto Luccheses, doch dauerte es diesmal 15 Jahre, bis der Bau 1683 fertiggestellt war.
