Am 1. Mai 1464 schenkten Heinrich Graf zu Stolberg und die Stadt Wernigerode den 478m hohen Petersberg aus ihrem Forstbesitz an das St. Georgii-Hospital zu Wernigerode. Ursprünglich vor dem Westerntor gelegen, fanden in diesem Teil des Hospitals dann die Leprakranken, durch ihre Krankheit von den Bewohnern der Stadt verstoßen, Unterkunft und Versorgung. Sehr bald wechselte der Name des Bergs, zuvor dem heiligen Petrus geweiht, im Volksmund zu „der arme Lude holt“ und ab 1671 fortdauernd zu „Armeleuteberg“.

1875 entstand auf der Bergkuppe eine kleine Schutzhütte, nach dem privaten Stifter, dem Kaufmann und Stadtrat Ferdinand Ahrends, das Ahrendshäuschen genannt. An dessen Stelle wurde 1902 der Kaiserturm erbaut. Nach Anlage des Brunnens 1905 am Försterplatz, an welchem seit 1928 das Forsthaus steht, ließ der Sauerbrunnen-Fabrikant Karl Ermisch ein Haus erbauen, das am 20. Mai 1906 als „Berghotel Armeleuteberg“ mit Restaurant und sechs Fremdenzimmern eröffnet wurde. In der Nacht zum 17. Februar 1909 brannte das Gebäude vollständig ab. Die Stadt Wernigerode übernahm den Besitz und konnte den Neubau bereits am 15. Dezember 1911 eröffnen, wiederum als „Berghotel Armeleuteberg“, jedoch in der Pacht von Heinrich Großhenning. Zehn Betten standen zur Übernachtung zur Verfügung, und das Restaurant diente allwöchentlich auch zum Tanz.

Während des zweiten Weltkriegs ruhte der Betrieb. Bei Wiedereröffnung am 1. Juli 1949 unter der Leitung von Luise Lange betrug der erste Tagesumsatz 7,32 Mark. Frau Lange bewirtschaftete dieses Ausflugslokal mit ihren Kindern bis 1972. Im gleichen Jahr übernahm die staatliche Handelsorganisation (HO) jenes Objekt und gab es 1987 an die Stadt Wernigerode zurück. Die Renovierung und Neueinrichtung übernahm Familie Krebs und eröffnete am 1. Januar 1988 die „Waldgaststätte Armeleuteberg“.

Seit dem 1. Januar 2020 ist es im Besitz der Familie Spamer, die das Haus weiterhin als Gasthaus betreiben, es im Zuge der Covid-19-Krise jedoch zu einer kulturellen Begegnungsstätte und gemeinsam mit dem Wernigeröder Künstler Stephan Klaube zu einem Gesamt-Kunstobjekt erweiterten.