Zu Zeiten des Alten Mannes - so nannte man die Zeit der ersten Besiedlung des Oberharzes - kamen Bergleute auch in die Gegend des heutigen Wildemanns. Dabei entdeckten sie im Schlamm des Innerste Flußbettes frische menschliche Fußspuren. Weil sie aber bis dahin glaubten, die einzigen Menschen weit und breit zu sein, gingen sie der Fährte nach. Bald erspähten sie zwei fremde Menschen, einen Mann und eine Frau. Beide waren beängstigend groß und trugen als Bekleidung nur einen breiten Gürtel von Laub und eine Mooskappe auf dem Kopf. Als Waffe führte der Mann, dem ein wilder Bart bis auf den Gürtel hinabreichte, eine ziemlich starke, mit den Wurzeln aus der Erde gerissene Tanne in der Rechten.
Kaum hatten die wilden Menschen die Bergleute erblickt, flüchteten sie, ohne auf freundlichen Zuruf zu hören, in das Walddickicht. In der nächsten Zeit wurden sie noch öfters gesehen, jedoch obgleich die Bergleute sogar Jagd auf sie machten, vermochten sie die flinken Waldmenschen nicht einzuholen.
Erst nach vielen mißlungenen Versuchen gelang es endlich, ihnen so nahe zu kommen, daß man einen Pfeil auf sie abschießen konnten, der den Mann am Fuß verletzte. Aber auch jetzt gab es erst noch einen harten Kampf. Der Wilde Mann schlug mit seiner Tanne gewaltig um sich und das Weib, gelenkig wie eine Eidechse und stark wie eine Riesin, erwehrte sich mit Fäusten und Zähnen gegen ihre Verfolger, bis ihr die Flucht gelang. Der Wilde Mann wurde von der Übermacht überwältigt und gefesselt fortgeführt. Auch die Höhle der Waldmenschen entdeckte man und erkannte aus den dort aufgehäuften Vorräten, daß sie sich nur von Beeren und rohem Wildfleisch ernährt hatten.
Man fragte den Wilden Mann, wer er sei, woher er komme und noch mancherlei. Aber er gab keine Antwort, schaute nur immer nach der Gegend, wo die entdeckte Höhle lag, Man gab ihm Speise und Trank, aber er aß nichts. Man wollte ihn zwingen, bei der Arbeit zu helfen, aber er rührte keine Hand. Ob er stumm war oder sich nur so stellte, konnte nicht festgestellt werden.
Darum beschlossen die Bergleute, ihn zum Herzog nach Braunschweig zu schicken; mochte der bestimmen, was mit ihm geschehen sollte. Doch der Gefangene starb unterwegs. Im Augenblick seines Todes fand man in der Höhle die erste Erzader. Die Bergleute waren der Meinung, daß der Wilde Mann bis dahin die Gänge taub gemacht habe. Sie nannten die erste Grube nach ihm „Wilder Mann“. An der Stelle, wo sie ihn fingen, pflanzten sie zum Andenken eine Linde. Sie steht heute noch vor dem Hotel Rathaus.
Es wurde erzählt, der Wilde Mann habe den Baum im Kampf mit seinen Verfolgern selbst voll Wut in die Erde gestoßen. So kann man es jedenfalls auf der Tafel lesen, die an der Linde vor dem Rathaus hängt.