Graf Hugo von Montfort begann 1550 den Bau des Schlosses. Es dominiert heute, zusammen mit den gräflichen Gebäuden den weiten Marktplatz. Die einfache Renaissanceform des 1604 bis 1620 erbauten Ostflügels wird durch das Portal von Isaias Gruber d.J., einem Bildhauer aus Lindau, aufgelockert. Bauherr war Georg Freiherr von Königsegg. Das Schloss wurde im 19. Jahrhundert innen stark verändert und hatte verschiedenen Behörden zu dienen. Der im 2. Stock befindliche Rittersaal, ein nahezu quadratischer Saal mit Stuckaturen wurde um 1720 restauriert und beherbergt heute die Stadtbücherei. Die Stuckreliefs stellen den gräflichen Besitz mit Schloss Immenstadt und den Burgen Staufen und Rothenfels dar sowie die Pfarrkirche und eine Jagdszene.

Immenstadt: An der B 19 Kempten - Immenstadt - Sonthofen

Der "Rittersaal" kann zu Öffnungszeiten der Stadtbücherei besichtigt werden:
Mitte Mai bis Mitte September: Montag bis Samstag von 10 bis 12 Uhr und Montag bis Freitag von 14 bis 18 Uhr.

In den Wintermonaten: Montag bis Freitag von 14 bis 18 Uhr.