Der älteste Teil unseres Dorfes ist das sog. Grabendorf. Es erstreckte sich etwa von der Oberen Schwachheimschen Mühle nach Süden bis in den Pfarrwinkel = 500 Meter hin und von der Mitte des jetzigen Friedhofes nach Westen bis etwa zur Schäfergasse = 300 Meter. Das Grabendorf wurde, wie schon der Name sagt, von einem noch heute an mehreren Stellen sichtbaren Graben, dem Knickgraben, eingeschlossen. Innerhalb des Grabendorfes, das von der Heerstraße durchschnitten wurde, lagen die Burg und später die Wirtschaftsgebäude der Domäne, die Kirche, das Pfarrhaus und die Schule und die Obere Mühle. Ob die Ritter von Hattorf in unserer Burg gewohnt haben, läßt sich nicht feststellen. Sie traten im 13. und 14. Jahrhundert meist als Zeugen bei Beurkundungen auf. Seit dem 15. Jahrhundert wird das Geschlecht nicht mehr erwähnt. Es ist ausgestorben. Eine adelige Familie von Hattorf ist erst später nobilitiert. Sie ist im vorigen Jahrhundert erloschen.

In einer einzigen Urkunde des Jacobi-Klosters in Osterode vom 29. November 1312 treten die Ritter von Hattorf in eine Beziehung zu unserem Dorf: Der Ritter Gunzelin Letgast verkaufte den Gebrüdern Werner und Ekbert von Hattorf für eine Mark eine Wiese, genannt "die Viehtrift", in der Feldmark von Hattorf. Nach der Bauweise des Turmes zu urteilen, ist die Kirche in Hattorf im 11. oder 12. Jahrhundert n. Chr. etwa errichtet. Der Umfang des Turmes beträgt 23, die Höhe 22 Meter. Die Mauer des Turmes ist aus dicken Kieselsteinen der Sieber und Oder mit Estrichgips gemauert. Die Dicke der Mauer beträgt unten 2,50 m, in der Mitte 2 m und oben 1,50 m. Die Stärke der Mauer und zahlreiche im Turm befindliche Schießscharten bzw. Sehschlitze kennzeichnen das Gebäude als Wehrkirche. Hier suchte in unruhigen Zeiten die an Zahl noch sehr geringe Einwohnerschaft des Dorfes Zuflucht.