Dieses Gebäude wird anlässlich eines Übergabevertrages an das Salzburger Domkapitel als eine von zwei Burgen, welche zum Zwecke der Grenzbefestigung an dieser strategisch wichtigen Stelle erbaut worden war, im Jahre 1188 erstmals erwähnt.
In der Zeit, als der Silberbergbau in Ramingstein seinen Anfang nahm und Erzbischof Sigmund das Bergwerksgebiet 1459 zu einer Freiung erklärt hatte, war das Schloss, der Ansitz der Familie der Mooshamer, der Verwaltungsmittelpunkt dieser Freiung.
Der Sohn des 1556 verstorbenen Wilhelm von Moosham und der Anna von Haunsperg baute in seinem Schloss eine Kapelle zu Ehren der heiligen Helena und der Kreuzauffindung und bestiftete sie mit zwei Messen wöchentlich.
In einem 1601 aufgenommenen Inventar werden die Räume des Schlosses aufgezählt und auch die Einrichtung der Kirche, in welcher sich zwei Altäre befanden, beschrieben. Zum Schloss gehörten auch noch ein gemauertes Haus, gemauerte Stallungen für 6 Pferde, zwei Getreidekästen, ein Meierhaus, Wagenhütten und Kuhstallungen, weiters Getreidefelder um das Schloss, welche 300 Schober Ernte erbrachten.
Nach mehrmaligem Besitzerwechsel kaufte 1667 der Ramingsteiner Bergwerkshandel das Gebäude.
1684 erwog man, in dem "Schlössl zu Ramingstein, alwo jezo der Bergrichter und der Ranttner wohnen, und darinnen dem Vernemen nach ain besondere Capellen vorhanden ist" den Vikar und den Mesner unterzubringen, weil große Räume für alle kirchlichen Aufgaben zur Verfügung standen. Weil die Entfernung zur Pfarrkirche aber zu groß war, wurde dieses Vorhaben nicht ausgeführt. 1750 wurde dem Fronboten dort bis zum Bau eines eigenen Hauses eine Wohnung zugewiesen. Reparaturen waren weiters keine notwendig, nur die Hüttenschreiberin musste ihre Hühner aus den Räumen entfernen.
1759, wohl in dem Versuch, den bereits zurückgehenden Bergsegen noch einmal zu heben, wurde das Gebäude von Grund auf saniert und die Kapelle am 16.9. von Erzbischof Sigmund von Schrattenbach der hl. Helena neu geweiht. Er verlieh außerdem einen vierzigjährigen Ablass. Auf Bitten der Bergarbeiter wurden die seit 1699 nicht mehr abgehaltenen Messen wieder eingeführt.
Die Schlosskapelle erhielt den Rang einer erzbischöflichen Hofkapelle. Aber schon im nächsten Jahr wurde der Tragaltar dem Bergverweser in Gastein zur Aufbewahrung übergeben.
Nach Einstellung des Bergwerksbetriebes verkaufte das k.k. Bergwerksärar 1825 die Liegenschaft an Fürst Schwarzenberg, und die k.k. Salinen-Direktion Salzburg übergab 1827 den gesamten Komplex an das Schwarzenberg´sche Oberverwesamt Murau.
In der Folge kam es zwischen dem neuen Besitzer und dem Konsistorium in Salzburg bezüglich der in der Kapelle vorhanden zahlreichen Einrichtungsgegenstände zu Kompetenzstreitigkeiten, welche 1841 durch den verheerenden Waldbrand, bei dem auch das Schloss arg in Mitleidenschaft gezogen wurde, beendet wurden. 1892 wurde der Südflügel des Schlosses demoliert und der Turm der Kapelle abgetragen.
Heute sind in dem Gebäude die Schwarzenberg´sche Forstverwaltung und zwei Wohnungen für Betriebsangehörige untergebracht. Leider erinnert nichts mehr an die ehemalige Verwendung als Verwaltungszentrum des Ramingsteiner und Lungauer Bergbaues.
Baubeschreibung: Dreigeschossiges Gebäude mit Fassade nach Norden. Portal mit toskanischen Stuckpilastern, darüber geschwungenes, profiliertes Gesims. Vier Fensterachsen, im 1. Stock Putzrahmungen, oben geschwungen, unten mit Gehängen. Am Rande und zwischen den Fenstern angeblendete Pilaster. In der Mitte ovales, ausgespartes Feld mit vorhängender Tafel mit gemaltem Wappen des Fürsten Schwarzenberg. An der Ostseite ist eine vom 1. Stock des Hauses aus zugängliche Kapelle angebaut, beiderseits je zwei rundbogige Fenster mit profilierter Rahmung. Fünfseitiger Abschluss mit gleichen Fenstern. Innen ist die Kapelle ohne Decke und Einrichtung. An die einstige Bestimmung erinnern nur noch die gemalten Apostelleuchter aus der Erbauungszeit