Gellért hill cave er en del av et nettverk av grotter i Gellert-høyden. Hulen er kalt "cave of St. John" med navnet på en eremitt som bodde der, og antas å ha brukt de naturlige varme vannet i innsjøen ved siden av hulen for å helbrede de syke. Det er sannsynlig at dette er det samme vannet som faller inn i gellert termiske bad bassenger.

I det 19. århundre hulen var en ly for fattig familie, som, i den grad det kunne ha konstruert den naturlige bolig. Grotten inngangen var stengt. En illustrasjon av denne perioden av historien kan sees i bildet Mihai Myra, datert 1860-tallet og bilder av györgy Klesha 1877.

På 1920-tallet, en gruppe munker, inspirert under en pilegrimsreise stein strukturer av Lourdes i Frankrike, arrangert av grotten sin egen og gjorde om den inngang. Fra 1926 og frem til 1951, cave fungerte som et kapell og enda et kloster. Under Andre verdenskrig det ligger et feltsykehus av den tyske hæren. I 1945 at den Røde armé frigjorde Budapest. For seks år hulen har fortsatt å utføre religiøse funksjoner, men i 1951 som en del av en styrking av undertrykkelsen rettet mot den Katolske Kirke, den offentlige sikkerhet organer gjennomført søk i kapellet. Hulen var murt opp, den eldste bror av Ferenc Weser dømt til døden, munker til fengsel form av opp til ti år.

Kapellet ble re-åpnet på August 27, 1989 – tykk betongvegg dekker inngangen, ble ødelagt. Av 1992, kapellet ble restaurert og satt i stand. For tiden er i en hule, tjenestene, er holdt, til tross for at det er en turistattraksjon.