Pirmąsias muzikos žinias gavo iš vietos vargonininko K. Stankevičiaus. 1884–1889 m. Varšuvos muzikos institute pas J. Slivinskį mokėsi vargonuoti, o pas Z. Noskovskį – kompozicijos. 1890 m. vargonininkavo ir vadovavo chorui Vabalninke, o 1891 m. kunigaikščio B. Oginskio buvo pakviestas į Rietavą.
Nuo 1892 m. – Kauno arkikatedros vargonininkas ir choro vadovas. 1892 m. Kaune įsteigė privačius vargonininkų kursus ir daug metų jiems vadovavo, rengė vargonininkus ir chorų vadovus. Kursus yra baigę žinomi muzikai Stasys Šimkus, Julius Štarka, Aleksandras Kačanauskas ir daugelis kitų vargonininkų bei chorvedžių.
1894 m. muzikos žinias gilino Vokietijoje, Regensburgo aukštojoje bažnytinėje muzikos mokykloje pas F. Haberlį ir kitus pedagogus. Grįžęs į Kauną, ne tik dirbo Kauno katedros vargonininku ir choro vadovu, bet ir Žemaičių kunigų seminarijos choralo ir choro profesoriumi.
Žemaičių vyskupas Mečislovas Paliulionis jam patikėjo įvykdyti bažnytinės muzikos reformą. Šį darbą J. Naujalis pradėjo kunigų seminarijoje, kur praktiškai būsimuosius kunigus supažindino su grigališkuoju giedojimu ir bažnytine polifonine muzika. Reorganizavo Arkikatedros chorą – vietoj moterų balsų pasitelkė berniukų. Choras ėmė giedoti G. Palestrinos, Orlando di Lasso ir kitų žymių kompozitorių religinės muzikos kūrinius.
Jo rūpesčiu Lietuvos parapijų vargonininkai labiau ėmė rūpintis bažnytinės muzikos propagavimu, kunigai savo vargonininkus pradėjo siųsti tobulintis į J. Naujalio vargonininkų kursus, ir šie nuo 1897 m. virto tikra vargonininkų mokykla. 1913 m. kursai buvo legalizuoti.
NaujalisJuozas.jpg
1899 m. J. Naujalis Kaune suorganizavo slaptą „Dainos“ chorą, vėliau išaugusį į „Dainos“ draugiją. Choras rengė gegužines ir slaptus lietuviškus vakarus – koncertus. 1905 J. Naujalis Kaune įsteigė pirmąjį lietuvišką knygyną (veikė iki 1912 m.), 1908 m. įkūrė Vaikų draugiją ir, kartu su Jonu Kumečiu, Jonu Garalevičium - Šv. Grigaliaus vargonininkų draugiją.
Bendradarbiavo spaudoje, pasirašinėjo slapyvardžiu Senis vargonininkas. 1909–1911 m. leido pirmąjį lietuvišką muzikinį leidinį „Vargonininkas“, o 1913–1914 m. – kalendorių. Šiuos leidinius ne tik redagavo, bet ir rašė straipsnius, recenzijas ir muzikines apžvalgas. 1909 m. Lietuvių mokslo draugijos suvažiavime buvo išrinktas į dainų melodijų rinkimo komisiją.
Pirmojo pasaulinio karo metais gyveno Švenčionyse ir Vilniuje. Dirbo „Ryto“ lietuvių gimnazijos muzikos mokytoju, subūrė chorą. 1916 m. grįžo į Kauną. Kurį laiką dėstė muziką „Saulės“ gimnazijoje, dirbo Kauno katedros vargonininku, koncertavo.
1919 m. įkūrė privačią muzikos mokyklą, kuri 1920 m. suvalstybinta. Iki 1927 m. buvo šios mokyklos direktorius ir dėstytojas, nuo 1933 m. – Kauno konservatorijos profesorius, dėstė liturgiką, choralą ir vargonus.
1924 m. buvo pirmosios visos Lietuvos dainų šventės rengėjas ir vyr. dirigentas, 1928 ir 1930 m. – visos Lietuvos dainų švenčių dirigentas.
Kaip vargonininkas virtuozas nemažai koncertavo Kaune, o 1922 m. su smuikininku Mečislovu Leškevičiumi – ir JAV: Bostone, Brukline, Detroite, Čikagoje, Klivlende, Pitsburge ir kitur. Amerikoje rinko aukas Lietuvių meno kūrėjų draugijai – buvo jos iždininku, lankėsi Vargonininkų sąjungoje.
J. Naujaliui pirmajam iš lietuvių muzikų 1933 m. suteiktas profesoriaus vardas. 1934 m. išrinktas ALRK Vargonininkų ir kitų muzikų sąjungų garbės nariu.
