vargonininkas, kompozitorius, pedagogas, choro dirigentas, muzikologas, kultūros veikėjas, pirmosios lietuviškos simfonijos autorius.
Pradžios mokyklą lankė Tveruose, o 1905 m. eksternu baigė Palangos progimnaziją. Pas Varšuvos muzikos instituto auklėtinį Plungės vargonininką N. Sasnauską išmokęs vargonuoti, 1908–1914 m. vargonininkavo ir vadovavo chorams Varniuose, Viekšniuose, Plungėje ir Tirkšliuose. 1910–1912 m. vasaromis važinėjo į Varšuvą pas M. Surzyriskį mokytis vargonuoti.
Kilus Pirmajam pasauliniam karui, pasitraukė į Peterburgą. Kompozitoriaus Česlovo Sasnausko skatinamas 1915 m. įstojo į Sankt Peterburgo konservatoriją, kur vargonavimą studijavo pas J. Handschiną, kompoziciją pas V. Calafatti, J. Vytuolą (Vitols), A. Glazunovą, M. Steinbergą ir A. Žitomirskį, o estetiką ir muzikos istoriją pas Karatiginą. 1918 m. eksternu baigė gimnaziją, lankė Peterburgo Archiologijos ir Meno istorijos institutą. Studijuodamas iki 1918 m. dėstė muziką ir vadovavo chorui Šv. Kotrynos gimnazijoje.
1919 m. laisvo menininko diplomu baigęs konservatoriją, trumpai dirbo Lietuvos ir Baltarusijos Švietimo liaudies komisariato įgaliotiniu, vadovavo darbininkų chorams, rūpinosi, kad rusų valdžia grąžintų Lietuvai išvežtas kultūros vertybes. 1919–1920 m. Vitebsko konservatorijoje dėstė muzikos teorijos disciplinas, buvo mokyklų muzikos inspektorius ir chorų instruktorius, gavo profesoriaus mokslinį vardą.
1920 m. grįžo į Lietuvą ir, apsigyvenęs Kaune, iškart įsijungė į tuometinį kultūrinį ir muzikinį gyvenimą. Dirbo Lietuvių meno kūrėjų draugijos muzikos sekcijoje, rūpinosi Operos vaidyklos ir Valstybės teatro steigimu, dėstė A. Sutkaus vaidybos studijoje ir vargonininkų kursuose, buvo Valstybės teatro antrasis dirigentas, muzikos sufleris, administratorius ir reikalų vedėjas. 1922–1924 m. kaip Lietuvos švietimo ministerijos Meno skyriaus viršininkas parengė muzikos programas vidurinėms mokykloms, vadovavo muzikos mokytojų vasaros kursams, daug prisidėjo prie 1924 m. 1-osios visos Lietuvos dainų šventės surengimo Kaune. 1923 m. buvo išvykęs į Latvijos dainų šventę susipažinti su dainų švenčių rengimo organizaciniais klausimais. Kauno karo muziejuje ir miesto sode suorganizavo 32 simfoninės muzikos koncertus.
1924–1929 m. gyveno ir dirbo Klaipėdoje. Muzikos mokykloje – konservatorijoje dėstė teorines disciplinas, buvo studentų bendrabučio vedėjas, direktoriaus pavaduotojas, 1927–1928 m. – direktorius, vadovavo moksleivių chorams, atgaivino simfoninį orkestrą ir suplanavo jo veiklą (dirigentas J. Gaubas). 1927 m. 1-osios Klaipėdos krašto dainų šventės šv. Mišiose giedojo konservatorijos vyrų choras – dirigavo J. Žilevičius, vargonavo Juozas Gaubas.
1924 m. parengė leidinį „Muzikos almanachas“ apie Lietuvos chorus ir chorvedžius, redagavo žurnalus „Muzikos menas“ ir „Muzika“ (1924 ir 1925 m.), parašė vadovėlį „Jaunas dainininkas“ (100 dainų su D. Andrulio metodika, 1927 m.), daug rašė spaudoje, organizavo folkloro ir muzikos instrumentų rinkimą – su savo mokiniais surinko apie 300 įvairių muzikos instrumentų.
1929 m. Lietuvos švietimo ministerija J. Žilevičių komandiravo į JAV rinkti folklorinę medžiagą ir kitus įvairius muzikos eksponatus. Įsikūręs Elizabethe, NJ, iki 1961 m. vargonininkavo ir vadovavo chorui Šv. Petro ir Povilo lietuvių parapijoje, aktyviai dalyvavo Amerikos lietuvių kultūros gyvenime. Parapijos chorą padidino iki 65 dalyvių, išmokė jį sudėtingų kūrinių ir nemažai koncertavo, dalyvavo dainų šventėse ir kituose tautiniuose renginiuose.
1934 m. Elizabethe parapijos įkūrimo 40-mečiui pažymėti pastatė veikalą „Kražių skerdynės“ su giesmėmis ir dainomis – dalyvavo apie 100 atlikėjų. 1938–1941 m. su parapijos choru ir solistais atliko Th. Dubois oratoriją „Septyni Kristaus žodžiai“. Taip pat suorganizavo nedidelį Niujorko apylinkės vargonininkų chorą, kurio pirmasis pasirodymas įvyko 1936 m. kovo 20 d.
Daug prisidėjo prie Amerikos lietuvių dainų švenčių organizavimo. 1930 m. Carnegie Hall Niujorke surengtoje dainų šventėje dalyvavo 500 dalyvių jungtinis choras, į kurį susibūrė Amerikos rytinio pakraščio lietuviai (šventė buvo skirta Vytauto Didžiojo 500 mirties metinėms pažymėti).
J. Žilevičius buvo 1930 m. rajoninių dainų švenčių Bayonne, Newarke, Elizabethe, Marianpolyje, Vilks Bare vyr. dirigentas. Kaip solistas vargonininkas ir choro dirigentas koncertų surengė Niujorko Šv. Patriko katedroje, Symphony Hall ir kitur. 1932 m. įkūrė Amerikos lietuvių parapijų chorų sąjungą ir iki 1952 m. buvo šios sąjungos dainų švenčių vyr. dirigentas. 1938 m. Summet Parke surengtos rajoninės dainų šventės dirigentas. 1939 m. Niujorko Pasaulinės parodos Lietuvių dienoje dalyvavo apie 70 chorų ir 3000 dainininkų. J. Žilevičius buvo šios šventės generalinis dirigentas ir dirigavo jungtiniam chorui. Paskutinėje 1952 m. Niujorko ir Niudžersio apskričių lietuvių chorų dainų šventėje Harrisone, NJ, J. Žilevičius dalyvavo su Šv. Petro ir Povilo parapijos choru. Buvo 1956 m. 1-osios JAV ir Kanados lietuvių dainų šventės Čikagoje garbės dirigentas.
1961 m. apsigyveno Čikagoje, buvo išrinktas tų metų 2-osios JAV ir Kanados lietuvių dainų šventės rengimo komiteto garbės pirmininku ir 1964 m. Niujorko Pasaulinės parodos Lietuvių dienos repertuaro komisijos nariu.
Nuo 1932 m. ALRK Vargonininkų sąjungos garbės narys, 1933 m. jo rūpesčiu įkurta Amerikos lietuvių chorų sąjunga. J. Žilevičius prisidėjo prie žurnalo „Muzikos žinios“ įkūrimo, daug metų buvo redkolegijos narys ir daugelio straipsnių autorius. Surinkęs daug lietuvių muzikinio folkloro ir medžiagos iš lietuvių muzikinės kultūros istorijos (šis darbas 1920 m. pradėtas Lietuvoje), Čikagoje įkūrė Lietuvių muzikologijos archyvą.
Už didelius nuopelnus lietuvių muzikinei kultūrai J. Žilevičius 1935 m. apdovanotas Gedimino III laipsnio ordinu.
