Im 14. Jahrhundert ist das ehemalige kurkölnische Rittergut aus einer Wasserburg am Rande von Schwelm entstanden. Ursprünglich diente es als militärischer Kontrollpunkt. 80 Meter östlich der Anlage befand sich ein Vorgängerbau in Form einer Turmburg.
Die zweiflügelige Anlage wird durch einen Rundturm von 1450 betont, dem ältesten noch erhaltenen Gebäudeteil. 1618 wurde die Anlage durch einen viereckigen Torturm und eine Zugbrücke erweitert. Seit dem 19. Jahrhundert ist um das Haus Martfeld die mit einer Fläche von 9,4 ha größte Schwelmer Parkanlage gestaltet worden, wobei 0,7 ha des Gebietes Stadtbiotopfunktionen haben.
Teil der Parkanlage ist auch eine von Frederike Elverfeldt in Auftrag gegebene neugotische Grabkapelle, des Kölner Baumeisters Vincenz Statz. Erweitert wurde das kirchliche Bauwerk durch den Architekten Gerhard August Fischer.
Heutzutage ist das regional- und stadtgeschichtliche Museum in dem Gebäude untergebracht. Des Weiteren werden Lesungen, Konzerte, Vorträge und Seminare in den Räumlichkeiten abgehalten.