Im 15. Jahrhundert wurde vom Truchseß Hans zu Waldburg, Graf von Sonnenberg, die obere Burg ausgebaut, aber bereits 1578 durch einen Brand vollständig zerstört. 1580 entstand eine Vierflügelanlage, die wiederum den Schweden im Jahr 1646 zum Opfer fiel. Der Wiederaufbau dauerte bis 1690 und hat im 18. und 19. Jahrhundert noch manche Veränderungen erfahren. Der Renaissance gehören heute noch einige Portale an. Aus dem 18. Jahrhundert stammen das von den Stuckateuren J. Jakob Herkomer und Johann Schütz geschaffene Herrschaftszimmer. Aus demselben Jahrhundert die Bibliothek; die Schlosskapelle ist neugotisch. Innerhalb der Vorburg die ehemalige Stifts- und heutige Pfarrkirche, 1733/34 einheitlich neu erbaut. Sie gilt als Hauptwerk des Füssener Baumeisters Johann Georg Fischer. Besonders bemerkenswert die Stuckierung von J. Schütz, die Gewölbemalerei nach Entwürfen Josef Spieglers sowie Chorgestühl und Kanzel von J. Willhelm Hegenauer. Das Schloss ist in Privatbesitz.

Automobilmuseum im Schloss, Internationale Wolfegger Konzerte im Schloss.

Wolfegg: Über B 18/A 96 Memmingen/Wangen, Ausfahrt Kißlegg oder B 30 Ulm/Ravensburg.

Das Schloss ist nur während der Konzerte zugänglich;
Automuseum: 15.3. - 10.11.
täglich von 9.30 - 18.00 Uhr
Während der Wintermonate nur sonntags von 10.00 - 17.00 Uhr.