Wann die Arnoldskapelle auf dem Arnoldsberg aufgegeben wurde, ist historisch nicht sicher festzustellen, aber es ist von einem allmählichen Prozess auszugehen. Als das Klosterleben zurück ging bzw. aufgegeben worden war und die überlieferte Erinnerung an den heiligen Ort auf dem Arnoldsberg schwächer wurde, wird zunehmend der Wunsch nach einer eigenen Pfarrkirche in Breitungen entstanden sein. Um das Jahr 1400 ist überliefert, dass ein Stolberger Graf den Bau einer Kirche auf dem Breitenberg für die Orte Breitungen, Breitenberg und Dietersdorf veranlasste, die dem heiligen Grab (die Erinnerung an den Kreuzestod Jesu) geweiht war (vgl. Leopold: Kirchen-, Pfarr- und Schulchronik, Nordhausen 1817 Neudruck 2010, S. 109). Ob es allerdings ein tatsächlicher Neubau und nicht nur die Erneuerung einer schon bestehenden Kirche gewesen ist, bleibt offen. Es ist anzunehmen, dass sich die Einwohner des allmählich wohlhabend werdenden Breitungen nur schwer mit dieser mit Dietersdorf und Breitenberg geteilten Pfarrkirche anfreunden konnten. Nur wenige Zeit danach wird im Jahr 1427 auf dem Breitunger Kirchberg eine eigene Pfarrkirche erbaut, die den Namen des Heiligen Arnold von der Kapelle auf dem Arnoldsberg übernimmt. Auch wenn die Kapelle zu dieser Zeit eventuell noch genutzt wurde, zeigt die Namensweitergabe deutlich das Verständnis der damaligen Bewohner, dass die Kapelle auf dem Berg nun von der Kirche auf dem Kirchberg abgelöst ist.

Die Größe der Arnoldskirche auf dem Kirchberg ist heute nicht mehr zu ermitteln, da die Kirche nach der Einweihung der heutigen Arnoldskirche im Oberdorf abgetragen wurde und auf dem heute mit Häusern bebauten Gelände keine archäologischen Forschungen angestellt wurden.  Bei einem Vergleich mit ebenfalls im 15. Jahrhundert erbauten Kirchen in der goldenen Aue lässt sich vermuten, dass auf dem Kirchberg eine gotisch geprägte, einschiffige Hallenkirche mit einem hölzernen Dachstuhl und einer sechseckigen Aspsis gebaut wurde, die eine Größe von ungefähr 120-150 m² Grundfläche sowie einen Turm besaß. Drei Glocken schmückten diese Kirche: Bis heute erhalten ist die große, in fis gestimmte Glocke mit dem Gussjahr 1435. Ihre Inschrift lautet: „Anno Domini MCC.CC.XXXV++Ave Maria gratia plena” (Sei gegrüßt, Maria, voll der Gnaden”). Die beiden weiteren Glocken der Arnoldskirche auf dem Kirchberg, die ebenfalls 1735 mit in die Kirche im Oberdorf „umgezogen“ wurden, sind 1876 nach einem Blitzeinschlag umgeschmolzen worden: Die mittlere Glocke mit der Umschrift „Anno Domini MCCCCXXX” (1430) und einem Wappen von Maria mit dem Jesuskind und die kleine Glocke aus dem Jahr 1505 mit der Inschrift „MCC.C.CC.IIIII – Hilpe God unde Sanctus Arnolphus“. Die Kleinere wurde zur Taufglocke und trug folgende Inschrift: »Vom St. Arnoldskloster auf der Schanze stamme ich, seit 1505 hörte Breitungen mich. Nun habe ich die Jahreszahl 1876 angenommen und rufe: Lasset die Kindlein zu Christus kommen«. Damit fällt wohl die heute noch kursierende Legende, dass die 1505er Glocke von einem Schweinehirten auf dem Arnoldsberg entdeckt worden ist, eindeutig in den Bereich der Sage. Wie aus der Breitunger Ortschronik hervorgeht, fielen die beide letztgenannten Glocken dem 1. Weltkrieg zum Opfer: »In der Woche vom 24.06.-01.07.1917 wurden sie im Turm zerschlagen und die Stücke wurden abgegeben. Seit dieser Zeit ist nur noch eine Glocke da.«