Den opprinnelige Jødiske Museum i Wien ble grunnlagt i 1896 og var den første Museum av sitt slag i verden. Museet har eksistert med støtte fra "Society for innsamling og bevaring av det kunstneriske og historiske monumenter fra Jødedommen". Han var fokusert på historie og kultur av Jøder i det Østerriksk-ungarske Riket. Hans samling av gjenstander og produkter fra Palestina også gjenspeiles i den politiske debatten om Sionistiske. Museet ble stengt umiddelbart etter overtakelsen av Østerrike av Nazistene. I det siste året av sin eksistens det hadde 6474 ulike utstillinger. I 1939, ble de overført til Etnologisk Museum og andre institusjoner.

Mest av alt var tilbake til det Jødiske samfunnet i tidlig på 1950-tallet, men noen klarte å returnere bare på 1990-tallet. Mange av utstillingene var tapt. Når den Nye Jødiske Museum var inventoried, det viste seg at halvparten av den opprinnelige forsvant. Men de resterende tingene er veldig sjeldne gjenstander, som representerer hvordan objekter i hverdagen og unike materialer.

31. desember 1964 liten Jødisk Museum ble åpnet i en nylig bygget bygning på Måtehold, men har ikke mottatt nesten ingen offentlig oppmerksomhet. Etter 3 år Museet allerede hadde stengt.

Den første utstillingen av den nye Jødiske Museum i Wien ble åpnet 7. Mars 1990 i midlertidige lokaler på kontorene til det Jødiske samfunnet. En betydelig del av utstillingen ble kompilert fra samlingen av max Berger. I 1992 ble Museet flyttet til sin nåværende hjem i Palais Eskeles i Dorotheergasse. Museet ble åpnet bare et år senere, i 1993. Biblioteket var åpent for publikum siden 1994.

Fra høsten 2011 Museet åpnet sine dører etter en komplett renovering, som selve bygningen og oppdatere den permanente utstillingen. Etter reparasjon, den Jødiske Museum hilser besøkende med en ny belysning, som ble gjort i samsvar med den opprinnelige. Permanente utstillingene i Museet er organisert i tre soner.