Źródła historyczne wskazują, że w XVI w. na miejscu dzisiejszego Pałacu Radziwiłłów w Wilnie, zwanego wówczas Didžiieji Lukiškės, w parkowym ogrodzie za murami obronnymi miasta, obok Bramy Wileńskiej, stał pałac Mikołaja Radziwiłła Czarnego. W połowie XVII w. hetman wielki litewski i wojewoda wileński Jonasz Radziwiłł (1612-1655) zbudował pałac mieszkalny według projektu architekta Jonasza Ulrichsa. Pałac, o renesansowych formach i planie w kształcie litery U z manierystyczną dekoracją, składał się z czterech dwupiętrowych bloków połączonych pięcioma trzypiętrowymi pawilonami w narożnikach. Wewnętrzny dziedziniec otoczony był od strony południowo-zachodniej niskim murowanym ogrodzeniem z dwiema bramami. Pałac jest przedstawiony na medalu autorstwa niemieckiego medaliera Sebastiana Dadlera (1586-1657), wybitym z okazji inauguracji Jonušasa Radvili jako gubernatora Wilna w 1653 roku. Pałac jest przedstawiony na akwarelach Vytautasa Gabriūnasa (1930-1992).

W połowie XVII wieku pałac Radziwiłłów był jednym z najpiękniejszych w Wilnie. Ludzie nie cieszyli się nim długo. Zniszczyły go wojny i pożary w połowie XVII i na początku XVIII wieku. Na początku XIX wieku Dominykas Radvila (1786-1813), ówczesny właściciel pałacu, przekazał opuszczony, niezamieszkały pałac Wileńskiemu Towarzystwu Dobroczynności, które zarządzało nim do 1940 roku. Za jego kadencji zniszczone bloki pałacu zostały rozebrane lub odbudowane od podstaw.

W 1967 r. w pałacu rezydencji Radziwiłłów rozpoczęto prace konserwatorskie. W tym czasie pozostały tylko 2 skrzydła pałacu (północne i wschodnie) oraz jeden pawilon północny. W 1984 r. odrestaurowano także drugi pawilon - zachodni.