1060 ließ der Graf Bernhard II. von Werl auf dem Römberg die sogenannte Rüdenburg errichten. Auf dem gegenüberliegenden Schlossberg entstand unter Graf Friedrich von Arnsberg eine weitere Burg, die 1114 erstmals erwähnt wurde. Nahe dieser beiden Burgen entwickelte sich seit Anfang des 12. Jahrhunderts eine Siedlung, der 1238 die Stadtrechte verliehen wurden. Darüber hinaus wurde um 1170 durch Heinrich I. von Arnsberg das Kloster Wedinghausen im südlichen Teil der Stadt gegründet, das fortan als Grablege der Grafen von Arnsberg diente.

Der im Grundriss längliche historische Stadtkern von Arnsberg erstreckt sich über einen Bergrücken, der von der Ruhr begrenzt wird. Dabei gliedert sich die Altstadt in die Oberstadt, welche im Norden nahe des Schlossbergs gelegen ist, und in die Unterstadt, die als Stadterweiterung aufgrund des starken Bevölkerungswachstums bis 1240 entstand und bis zum Kloster reichte. Im Zentrum der Stadt befindet sich der Neumarkt.

Auf dem Schlossberg wurde anstelle der mittelalterlichen Burg ab 1575 unter Kurfürst Salentin von Isenburg ein Schloss im Stil der Renaissance errichtet. Da die Anlage während des Siebenjährigen Krieges 1762 zerstört wurde, ist heute nur noch die Ruine des Schlosses erhalten. Zu den erhaltenen mittelalterlichen Bauten zählt die Stadtkapelle St. Georg, die aus dem 14. Jahrhundert stammt.

1816 wurde Arnsberg dem Königreich Preußen zugeteilt und im Anschluss Sitz des Regierungspräsidenten. Die in dieser unter dem Einfluss von Karl Friedrich Schinkel entstandenen klassizistischen Gebäude prägen bis heute das Stadtbild von Arnsberg. Dazu gehört das Klassizismusviertel, das um den Neumarkt angelegt wurde und die evangelische Auferstehungskirche, welche von 1822 bis 1825 erbaut wurde.