Lankė Žeimelio pradžios mokyklą. Giedojo Žeimelio bažnyčios chore ir iš jo vadovo Juozo Pėželio išmoko vargonuoti. Vėliau gavo vargonininko vietą Kyburių (Pasvalio raj.) parapijoje.
1937–1939 m. tarnavo Lietuvos kariuomenėje ir vadovavo karių chorui. 1939–1944 m. Šiaulių muzikos mokykloje mokėsi vargonuoti (dėst. Juozas Karosas), griežti altu (dėst. Povilas Matiukas), skambinti fortepijonu (dėst. I. Prielgauskas ir Julius Gaidelis) ir muzikos teorijos disciplinų (dėst. J. Karosas). Mokydamasis griežė altu mokyklos moksleivių styginių orkestre (dirigentas J. Karosas) ir miesto muzikinio teatro simfoniniame orkestre (dirigentas Petras Armonas).
Nuo 1940 m. kartu mokėsi ir Šiaulių suaugusiųjų gimnazijoje, 1944 m. eksternu baigė Šiaulių berniukų gimnaziją.
1944–1948 m. studijavo kompoziciją Kauno konservatorijoje (prof. Juozo Gruodžio klasė), kurią baigė su pagyrimu. 1946–1948 m. vadovavo Lietuvos kūno kultūros instituto studentų chorui, įvairiems vokaliniams ansambliams.
1949–1952 m. studijavo kompoziciją Leningrado N. Rimskio-Korsakovo valstybinės konservatorijos aspirantūroje (prof. V. Vološinovo klasė). 1954 m. apgynė kandidatinę disertaciją „Lietuvių liaudies daina kai kurių lietuvių tarybinių kompozitorių simfoninėje kūryboje“, o 1972 m. – daktaro disertaciją „Akordo sandaros klausimu“. J. Juzeliūnas tyrinėjo lietuvių muzikos folklorą, sudarė jo klasifikavimo sistemą pagal melodijų atraminius tonus; taip pat tyrinėjo neeuropines muzikos kultūras, tuo tikslu lankėsi Afrikos ir Azijos šalyse.
Nuo 1948 m. – Lietuvos kompozitorių sąjungos narys, 1954–1966 m. – valdybos pirmininko pavaduotojas, vėliau – valdybos tarybos narys. Nuo 1957 m. – Kompozicijos katedros docentas, nuo 1970 m. – profesorius, 1992–1995 – Kompozicijos katedros vedėjas, išugdė apie 50 kompozitorių. 1991–1995 m. buvo Lietuvos mokslo tarybos narys.
Nuo 1988 m. – Lietuvos sąjūdžio iniciatyvinės grupės narys ir veiklus dalyvis, vėliau – Sąjūdžio seimo tarybos narys, dirigavo Sąjūdžio mitinguose. Buvo komisijos stalinizmo nusikaltimams tirti (nuo 1991 m. Represijų Lietuvoje tyrimo centras) tarybos pirmininkas, 1989–1991 m. – Sovietų Sąjungos liaudies deputatas. 1992–1993 m. Vyriausiosios rinkimų komisijos narys.
1954 m. suteiktas nusipelniusio meno veikėjo, 1966 m. – liaudies artisto garbės vardai, 1991 m. apdovanotas Lietuvos nacionaline premija, 1996 m. – Gedimino 4-ojo laipsnio ordinu.
