Das Schloss Herzberg sitzt dem nordöstlichen Sporn des langgestreckten Schlossberg- Rückens auf. Mit 279 m ü. NN liegt der Schlosshof etwa 50 m über dem breiten, nordwärts angrenzenden Siebertal und der westlichen Innenstadt von Herzberg. Die nördlichen und nordöstlichen, dicht verwucherten Berghänge sind mit 40 - 50° Neigung außerordentlich steil. Am Nordabbruch verbergen sich im dichten Hangwald einige kleine, brüchige Felstürme und eine wenige Zehner Meter lange, bis 20 m hohe Felswand aus Hauptdolomit oberhalb des Mühlengrabens.

Am hier besonders steilen Schlossberg-Nordhang werden etwa 10m hohe Hauptdalomit-Felsen durch engständige, klaffende Klüfte vertikal zerteilt. Diese kleinen Felstürme haben sich durch die Subrosion im Untergrund, entgegen ihres ursprünglichen geologischen Einfallens in den Berg hinein, deutlich talwärts geneigt. Sie drohen, irgendwann abzurutschen oder umzustürzen. Dabei besteht ein begrenztes Gefährdungspotential, da hier zwischen Hangfuß und Pfingstanger-Straße der Mühlengraben verläuft. Unmittelbar über dem Steilhang erhebt sich Schloss Herzberg (rechts: Marstall-, links: Sieberflügel) Foto: März 1996 (Archiv HK 16878).

350 m südöstlich vom Schloss versteckt sich in einer flachen Senke der versumpfende Ochsenpfuhl-Teich. Er erreicht offenbar nur eine Wassertiefe von wenigen Metern. Sein geringfügig schwankender Spiegel liegt bei etwa 224 m und befindet sich somit wenige Meter unter dem Bett der Sieber, 550 m nördlich an der B243-Brücke.

Diese ungewöhnliche Oberflächengestalt etwa 2 km vor dem südwestwärts abtauchenden Harz-Gebirgskörper weist auf eine junge, noch andauernde geomorphologische und hydrogeologische Aktivität im unmittelbaren Vorland des verfalteten alten Gebirges hin.

Es manifestiert sich hier eindrücklich eine geologische Grenze, die den Harzwest- bzw. -südrand von Seesen über Osterode, Herzberg, Walkenried und Rottleberode schlussendlich bis zum Mansfelder Becken markiert. Hier lagern, im heutigen Abtragungszustand des sog. Deckgebirges, die im Untergrund des Pöhlder Beckens etwa 200 m mächtigen Schichten der Zechsteinzeit (vor etwa 250-270 Millionen Jahren) dem alten Gebirge auf. Es handelt sich im Raum Herzberg dabei um einen Schichtstapel aus zwei je mehrere Zehner Meter mächtigen Dolomitabfolgen, zwischen denen ein Anhydritkörper stark wechselnder Dicke eingelagert ist. An der Basis befindet sich der Zechsteindolomit). Ihm folgt der oberflächennah in Gips umgewandelte Werraanhydrit, der von der etwa 40 m mächtigen Platte des Hauptdolomites überdeckt wird. Letztere bildet die Steilkanten des Schloss- sowie des Nüllberges (289 m), 2 km nordwestlich von Herzberg. Der Werraanhydrit befindet sich im Schlossberg-Sockel.