Muziejaus fondas pradėtas kaupti 1973 metais, įkūrus Vilniaus rašytojų muziejų. Beveik visus eksponatus muziejui perdavė Antano Venclovos žmona Eliza Venclovienė ir sūnus Tomas Venclova.
Remiantis Lietuvos Respublikos kultūros ir švietimo ministerijos pasiūlymais Vilniaus miesto kultūros valdybos įsakymu 1990 m. Vilniaus rašytojų muziejus buvo likviduotas, o A. Venclovos memorialinis muziejus tapo savarankiškas, priklausantis Vilniaus miesto Kultūros skyriui. Kultūros ir švietimo ministro įsakymu visi A. Venclovos fondo eksponatai buvo perimti iš Vilniaus rašytojų muziejaus. 1991 m. A. Venclovos memorialinis butas-muziejus buvo reorganizuotas į A. Venclovos memorialinį kabinetą, esantį Vilniaus lietuvių kultūros namuose, o juos panaikinus, nuo 1996 m. — Vilniaus etninės veiklos centre. 2004 m. vasarą muziejus pasivadino „Venclovų namais-muziejumi”. Nuo 2005 m. birželio mėn. Vilniaus miesto savivaldybės tarybos sprendimu Venclovų namai-muziejus kartu su B. Grincevičiūtės memorialiniu butu-muziejumi „Beatričės namai“, V. Krėvės-Mickevičiaus memorialiniu muziejumi ir V. Mykolaičio-Putino memorialiniu butu-muziejumi sujungti į Vilniaus memorialinių muziejų direkciją.
Šiuo metu Venclovų namų rinkiniuose yra beveik 15 tūkstančių eksponatų. Rinkinį sudaro Antano Venclovos fondas, Tomo Venclovos fondas ir vėliausiai pradėtas kaupti Račkauskų šeimos fondas.
Nuo 1996 m. veikia ekspozicija (parengta pagal D. Skrebienės projektą) - autentiškai įrengtas rašytojo Antano Venclovos darbo kabinetas, kuriame yra visi baldai ir dauguma asmens daiktų bei meno kūrinių, ten buvusių ir rašytojui gyvam esant, atkurta autentiška aplinka.
Poetas, rašytojas ir visuomenės veikėjas A. Venclova mūsų visuomenėje yra vertinamas prieštaringai: 1940 m. vyko į Maskvą "Stalino saulės parsivežti", 1949 m. dalyvavo Lietuvos sovietinės respublikos himno teksto konkurse ir jį laimėjo. Tačiau į Komunistų partiją įstojo tik 1953 m., po Stalino mirties, tarpukariu save identifikavo kaip eserą. Užimdamas aukštus postus sovietinėje vyriausybėje, šis žmogus niekada nebuvo abejingas lietuvių kultūros išsaugojimui ir teisėtam įvertinimui. Dar 1940 m., būdamas švietimo ministru, jis skyrė lėšų Trakų piliai atstatyti, vėliau dalyvavo komisijose dėl buities muziejaus steigimo, K. Donelaičio vietų Tolminkiemyje sutvarkymo, rūpinosi J Biliūno gimtinėje Niūronyse įrengti muziejų, išsaugoti Tomo Mano vasarvietę Nidoje, daug prisidėjo formuojant visuomenės nuomonę apie M. K. Čiurlionį, suteikiant jam deramą vietą mūsų kultūros istorijoje. A. Venclova - labai svarbių mūsų tautos kultūrinio palikimo išsaugojimui knygų serijų ,,Lituanistinė biblioteka” (rašė: ,,nėra nieko kvailesnio, kaip praeitų laikų literatūrą už plaukų pritempti prie mūsų dienų ir ieškoti joje įtartinų aliuzijų’’) ir ,,Lietuvių liaudies menas” redakcinių komisijų narys, daug nuveikęs, kad šios knygos būtų išleistos. Rašytojas bendravo su V. Mykolaičiu–Putinu, rūpinosi A. Vienuoliu. I. Simonaitytė savo prisiminimuose rašo ,,jis mane padarė rašytoja” (turimas mintyje A. Venclovos knygos ,,Aukštujų Šimonių likimas” redagavimo darbas). Bendrauta su dailininku S. Krasausku, skulptoriumi J. Mikėnu, islandų rašytoju Haldoru Laksnesu (1955 m. Nobelio premijos laureatu), rašytoju Tomu Manu ir kitais Lietuvos ir užsienio menininkais. Jo bute lankėsi M. Sluckis, J. Avyžius, K. Korsakas, J. Baltušis, P. Cvirka, B. Sruoga, K. Boruta ir kt., taip pat dešimtys vokiečių, lenkų, estų, rusų, ukrainiečių, baltarusių, kinų kultūrininkų.
Venclovų namų kultūrinei aplinkai turėjo įtakos ne tik kontraversiška paties A. Venclovos asmenybė, bet ir jo žmonos Elizos Venclovienės artimieji: sesuo dailininkė Marija Cvirkienė, tėvas Kauno, vėliau Vilniaus universiteto filologijos profesorius, senųjų kalbų, antikinės literatūros žinovas ir vertėjas, eruditas Merkelis Račkauskas, tėvo brolis rašytojas ir vertėjas Karolis Vairas–Račkauskas.
Šiame bute užaugo ir Venclovų sūnus
Tomas Venclova, kuris šiuo metu yra poetas, vertėjas, literatūros kritikas ir publicistas, Jeilio (JAV) universiteto profesorius-emeritas, 1995 m. Lietuvos Prezidento apdovanotas LDK Gedimino ordinu, Komandoro kryžiumi, Nacionalinės kultūros ir meno premijos 2000 m. laureatas, 2001 m. ,,Paribio žmogus” (vardą teikia Seinuose esantis ,,Paribio” fondas), 2002 m. Šv. Kristoforo skulptūrėlės už nuopelnus meno srityje laureatas, septynių universitetų garbės daktaras. Vaikystėje jį formavo ne tik turtinga tėvo biblioteka, platus tėvo požiūris į literatūrą, kultūrinė namų aplinka, bet ir bendravimas su seneliu M. Račkausku. Šiuo metu įvairiose pasaulio leidyklose yra išleista per 20 T. Venclovos knygų lietuvių kalba ir arti 30–ties knygų kitomis kalbomis.
Mūsų tautos istorijai svarbi ir kita, politinė, T. Venclovos veikla. Kai 1976 m. rudenį kūrėsi Lietuvos Helsinkio grupė, T. Venclova kartu su kunigu jezuitu Karoliu Garucku, fiziku Eitanu Finkelšteinu, poete, buvusia politine kaline Ona Lukauskaite–Poškiene ir buvusiu politiniu kaliniu Viktoru Petkumi buvo tos organizacijos steigėjas ir narys.
Venclovų bute lankėsi nemažai T. Venclovos draugų. 1960-61 m. čia vyko kai kurie slapto kultūros studijų būrelio užsiėmimai, kuriuose dalyvavo režisierius (dabar maskvietis) K. Ginkas, L. Gutauskas, profesorius fizikas R. Katilius. Bute lankėsi istorijos daktaras J. Tumelis, vienas žymiausių rusų ,,sidabro amžiaus” tyrinėtojų literatūrologas N. Kotreliovas, poetas Nobelio premijos laureatas J. Brodskis ir daugelis kitų.
Šiuo metu muziejus orientuojasi į jaunosios kartos lankytojus. Yra sukaupta nemažai Tomo Venclovos knygų, išleistų Lietuvoje ir užsienyje, renkama archyvinė medžiaga apie Venclovų šeimos narius: M. Račkauską, K. Vairą-Račkauską, M. Cvirkienę, T. Venclovą, jo politinę ir literatūrinę veiklą, ryšius su J. Brodskiu, Č. Milošu ir kt..
Rengiami kultūros vakarai Vilniaus visuomenei. Muziejus bendradarbiauja su Lietuvių literatūros ir tautosakos institutu, kitais institutais, Lietuvos aukštosiomis ir vidurinėmis mokyklomis.