Der Ortsname Hirnsberg leitet sich ab von der einstigen Burg von Herrantisperch, einer Nebenlinie der Grafen von Falkenstein. Erstmals erwähnt wird die Burg bzw. der Burgherr Chono de Herrantisperch um 1100. Die erste Burg (Hirnsberg I) stand am Abbruch zum Simssee nordwestlich von Hirnsberg. Schutzwälle sind dort noch erkennbar. Kurze Zeit später wurde diese Burg aufgegeben.
Ein Teil der Hirnsberger zog in die Burg Hohenaschau (Konrad von Herrantisberg), der andere Teil in die Burg im Bereich Letten/Holzberg (Hirnsberg II). Im Codex Falkensteinensis wird letztere 1166 erwähnt. In den folgenden Jahrhunderten bestand enge Verbindung zu Hohenaschau und zu Wildenwart.
Karte aus dem Bayer. Staatsarchiv: Standort der beiden Burgen
1378 wurde Hirnsberg II von Herzog Stephan von Bayern erobert und geschleift. Hirnsberg wurde dem Territorium der bayerischen Herzöge einverleibt. Heute existieren von Hirnsberg II noch die Ruine des sogenannten Speckerturms (sprachlich möglicherweise abgeleitet von speculare = beobachten) und noch immer beeindruckende Schutzwälle im Osten der ehemaligen Burg. Die Steine des unteren Teils des Turmes der Hirnsberger Kirche stammen von einer der beiden Burgen.
Wappen von Hirnsberg
Im Wappen Hirnsbergs sind die Ruine des Speckerturms und der Simssee dargestellt.
Im Rahmen des Wettbewerbes „Unser Dorf hat Zukunft – Unser Dorf soll schöner werden“ wurden die Bäume im Bereich der Ruine wegen der ins Mauerwerk eindringenden Wurzeln entfernt..