Slottet er et ideelt utgangspunkt på kanten av høye og spisse steiner i Wachau-dalen på vysote Petrovna den høyre bredden av Donau, i nærheten av Melk. Kjent som "Vokter av Wachau", slottet står på dette punktet i over 1000 år.

Gamle poster i historiske dokumenter som nevner et ideelt utgangspunkt dateres tilbake til år 1135. Opprinnelig, slottet ble bygget som bolig av Biskopen av Passau. Stedet for byggingen ble valgt visse der det en gang var en Romersk festning. Den tidligste delen av Slottet dateres tilbake til det 12. århundre, men i de følgende århundrer ble ombygd flere ganger.

Familien er et ideelt utgangspunkt eide slottet i nesten to hundre år før døden av den siste medlem - Ulrich von Sanmichele tidlig i det 14. århundre. I løpet av en kort periode slottet var i hendene til Conrad von Eisenbeil, og deretter i eierskap av klosteret i Melk. Men Abbeden ble snart tvunget til å selge slottet, og i 1396 festningen ble tatt under kontroll av brødrene Casper og Gundaker von Starhemberg. For over fire århundrer etterkommere av von Starhemberg økt og forbedret slottet. Blant disse var Bartholomew von Starhemberg, som var en av de første medlemmer av den Østerrikske adelen, som spilte for Lutheranism i 1482. Dette førte til opprettelsen av en sterk Protestantiske tradisjoner i slottet, som varte frem til 1639, da Conrad von Balthasar Starhemberg flyttet tilbake til Katolisismen, og som et tegn på deres forpliktelse bygget nær slottet klosteret.

Den mest kjente typen av Starhemberg, som eide slottet, Ernst rüdiger, som spilte en avgjørende rolle i å beskytte hovedstaden i Østerrike, Wien fra den tyrkiske invasjonen i slutten av det 17. århundre. Hans sønnesønns sønn Ludwig Josef Gregor solgt slottet i 1819 å telle Franz von Beroldingen. De sier at de siste par generasjoner av Starhemberg ikke bodde i slottet. Derfor, når Jarlen av Beroldingen kjøpte det, og alt inni var forlatt. Men han bygde opp igjen slottet og slått den inn i bolig.

I 1930, hans store-nevø som selges slottet til grev von Oswald, som mistet sin slottet under krigen og Sovjetisk okkupasjon. Imidlertid, i 1955, slottet er et ideelt utgangspunkt var kommet tilbake til familien og forblir i sin besittelse inntil nå.