Den lille Palace ble bygget i 1317. Det er i den Nordlige delen av plassen, midt imot Pavens residens, og så kalt på grunn av sin beskjedne størrelse og verdi, sammenlignet med pavepalasset.

Historien om hans utseende vag: i henhold til én versjon – den ble bygget for en nevø av Pave Johannes XXII, Arnaud de via, på den andre - den ble bygget av kardinal Berengere F. Senior. Etter hans død, Slottet og området rundt ble kjøpt av kardinal Arnaud de via. I 1335 via De døde og Palasset tilhørte ikke noen inntil ankomsten av Pave Benedikt XII, som igjen kjøpte det og gjorde det til den offisielle residensen til Erkebiskop av Avignon.

Bygningen ble skadet i perioden fra 1396 i 1411. siden det ble ansett som en befestet citadel av Avignon paver. Etter slutten på fiendtlighetene, Palace gradvis falt i forfall. I andre halvdel av XV århundre Biskop Alan de Cotui og følger Giuliano della Rovere (som senere skulle bli Pave Julius II besluttet å restaurere bygningen og til 1503, ga ham nesten opprinnelige form. Della Rovere kom i Avignon i 1474, som han ble utnevnt av sin onkel, Pave Sixtus IV, Biskop av Avignon. Han bygget den sørlige og Vestlige fasader i stil av den italienske Renessansen, og i 1487, ble det reist et tårn (senere, i 1767 det ble ødelagt).

Under den franske revolusjon, den Palace ble eiendommen av staten, i det nittende århundre var det hjem til en Katolsk skole, og senere fagskole. Bare i slutten av XX århundre på territoriet til den Palace Museum ble åpnet.

Siden 1958 er det Museum av Middelalderen. I 1976 var det et galleri med verker av mestere i Renessansen. I de 19 gangene i Museet, i bestemt arbeid av Sandro Botticelli, Taddeo Gaddi, som er Taddeo di Bartolo, Lorenzo Monaco, inkludert her er den berømte "Madonna" av Botticelli.