Die ursprüngliche Burg aus dem Mittelalter wurde gegen Ende des 16. Jh. zu einer repräsentativen Vierflügelanlage im Stile der Weserrenaissance umgebaut.
Der zweigeschossige Nordflügel mit seinem sechsgeschossigen Turm wurde zwischen 1584-92 errichtet.
Ost- und Südflügel wurden unter Verwendung älterer Bausubstanz im 17. Jh. erbaut.
Der vom Lemgoer Baumeister Hermann Wulff errichtete Nordflügel zeichnet sich durch eine abwechslungsreiche Fassadengestaltung aus.
Im 19. Jh. wurde im Nordflügel des Schlosses eine Amtsstube eingerichtet, im Ost- und Südflügel die fürstliche Brauerei.
1820 wurde der westliche Torflügel abgebrochen.
In den Gartenanlagen, die in verschiedener Ausprägung seit Ende des 16. Jahrhunderts bestehen, wurde ab 1811 eine Heil- und Pflegeanstalt für psychisch Kranke eingerichtet, die 1951 wieder aufgelöst wurde.
Mit dem Neubau des Amtsgerichtes wurden 1975 weite Teile des ehemaligen Renaissancegartens vernichtet.
Seit 1989 haben sowohl die Verwaltung des Landesverbandes Lippe als auch das Weser-Renaissance Museum im Schloss ihre Heimat gefunden.