Das Museum wurde 1935 von Lehrer Robert Weber (1874 – 1950) gegründet.
Zuerst befand es sich im Hintergebäude Breite Straße 13.
Nach einigen Ortswechseln innerhalb der Stadt und vorübergehender Schließung 1968 befindet es sich nun seit 1974 im Reichstor und den angrenzenden Gebäuden.
Das Reichstor wurde 1723 im Barockstil neu errichtet. Die beiden oberen Stockwerke waren als Wohnungen für den Schornsteinfeger sowie den Schlösser- und Seigersteller (Schlosser und Betreuer der Glocke) vorgesehen.
Die darunter befindlichen Räumlichkeiten dienten zur Arretierung sowie als Wache.
Bis nach 1945 blieb diese Funktion als Arrest- und Gefängnisstätte erhalten. Danach wurde es als Lager umfunktioniert bis das Museum darin eingerichtet werden konnte.
Die sogenannte „Bergbauhalle“ rechterhand des Museumseingangs wurde in den Jahren 1980/81 als erster Museumserweiterungsbau an die Stadtmauer angebaut.
Nach den umfassenden Sanierungsmaßnahmen des gesamten Museumskomplexes einschließlich des Reichstors konnten 1999 dann die ersten Teile der Dauerausstellung neu eröffnet werden.
