Mit dem Bau einer Burg an dieser Stelle wurde um 1480/90 begonnen. Franko von Witten, damaliger Gerichtsherr, ließ zunächst nur einen Palas (Herrenhaus) und einen Wohnturm errichten. Im 16. und 17. Jahrhundert erfolgte der weitere Ausbau zu einer barocken Vierflügelanlage. Anfang des 19. Jahrhunderts richtete der Unternehmer J. F. Lohmann in der Burg eine Stahlfabrik und mehrere Wohnungen ein. 1944/45 machte der Bombenkrieg die Burg zur Ruine. Sie blieb Ruine, bis 1990 die Stadt Witten mit finanzieller Unterstützung des Landes Nordrhein-Westfalen einen Ausbau für öffentliche, kulturelle Nutzungen in Angriff nahm. Beim Umbau ging es darum, die denkmalgeschützte Ruinensubstanz zu erhalten, die in vielfältigen Spuren von früheren Umbaumaßnahmen, Überformungen und Zerstörungen zeugt und damit Ausdruck einer langen und wechselvollen Geschichte ist.

Diesem Ziel folgend setzten die Architekten Prof. von Busse und Prof. Klapp die Neubauteile konstruktiv und gestalterisch von der Denkmalsubstanz ab. Hierzu eigneten sich die modernen Materialien Stahl und Glas in besonderer Weise. Die neuen Materialien treten maßvoll in Erscheinung, wodurch die alte Bausubstanz in ihrer Wirkung unterstützt wird und der Ruinencharakter des Baudenkmals auch nach dem Ausbau erlebbar ist. Die Ergänzung der Ruine mit modernen Bauteilen zählt daher zu den architektonischen Höhepunkten der Stadt.

Seit 1992 ist aus der Kriegsruine der Burg eine kulturelle Begegnungsstätte (städtische Musikschule, Filmvorführungen, Konzertveranstaltungen, VHS-Verwaltung und Cafe) geworden.

Das Gebäude erhielt 1997 den „Prix Rhenau d´Architecture“ (Straßburg), wurde 1997 vom BDA ausgezeichnet und bekam 1998 die Europa-Nostra-Plakette verliehen.