Исторические источники свидетельствуют, что в XVI веке на месте нынешнего Вильнюсского дворца Радвилы, который тогда назывался Диджиеи Лукишкес, в саду, похожем на парк, за городской оборонительной стеной, рядом с Вилльскими воротами, стоял дворец Миколая Радвилы Черного. В середине XVII века великий гетман Литвы и виленский губернатор Йонушас Радвила (1612-1655) построил жилой дворец по проекту архитектора Йонаса Ульриха. Дворец, имеющий ренессансные формы и П-образный план с маньеристским декором, состоял из четырех двухэтажных корпусов, соединенных по углам пятью трехэтажными павильонами. Внутренний двор с юго-западной стороны был обнесен невысокой каменной оградой с двумя воротами. Этот дворец изображен на медали немецкого медальера Себастьяна Дадлера (1586-1657), отчеканенной по случаю вступления Йонушаса Радвилы в должность виленского губернатора в 1653 году. Дворец изображен на акварели Витаутаса Габрюнаса (1930-1992).

В середине XVII века дворец Радвилы был одним из самых красивых в Вильнюсе. Однако люди наслаждались им недолго. Войны и пожары середины XVII и начала XVIII веков опустошили его. В начале XIX века Доминикас Радвила (1786-1813), в то время владелец дворца, передал заброшенный, необитаемый дворец Вильнюсскому благотворительному обществу, которое управляло им до 1940 года. За время работы благотворительного общества обветшавшие корпуса дворца были снесены или отстроены с нуля.

В 1967 году во дворце-резиденции Радвилов начались реставрационные работы. На тот момент сохранились только два крыла дворца (северное и восточное) и один северный павильон. В 1984 году был отреставрирован и второй, западный павильон.