buvo vargonininkas ir kompozitorius iš Lichtenšteino, didžiąją gyvenimo dalį gyvenęs Bavarijoje. Būdamas Miuncheno dvaro dirigentas, jis buvo atsakingas už karališkosios koplyčios muziką. Jis žinomas sakraline muzika, kūriniais vargonams ir vokaliniais kūriniais, pavyzdžiui, mišiomis, kalėdine kantata ir motetu Abendlied; taip pat sukūrė dvi operas ir tris singspieles, atsitiktinę muziką, pasaulietinę chorinę muziką, dvi simfonijas ir kitus instrumentinius kūrinius, kamerinę muziką ir kūrinius vargonams.
Rheinbergeris gimė 1839 m. kovo 17 d. Vadūze kaip Johanno Peterio Rheinbergerio ir motinos Elisabeth Carigiet sūnus, vienas iš vienuolikos vaikų, tarp kurių buvo ir jo brolis Peteris Rheinbergeris.
Būdamas vos septynerių metų, jis jau dirbo vargonininku Vadūzo parapijos bažnyčioje, o pirmasis jo kūrinys buvo atliktas kitais metais. 1849 m. jis mokėsi pas kompozitorių Philippą M. Schmutzerį (1821 m. gruodžio 31 d. - 1898 m. lapkričio 17 d.) Feldkirche, Vorarlbergo žemėje.
1851 m. tėvas, iš pradžių prieštaravęs sūnaus norui pradėti profesionalaus muziko gyvenimą, nusileido ir leido jam stoti į Miuncheno konservatoriją. Neilgai trukus po studijų jis tapo tos pačios įstaigos fortepijono ir kompozicijos profesoriumi. Kai ši pirmoji Miuncheno konservatorijos versija buvo panaikinta, jis buvo paskirtas Dvaro teatro repetitoriumi, iš kurio pasitraukė 1867 m.
Stilistinę įtaką Rheinbergeriui darė tiek amžininkai, tokie kaip Brahmsas, tiek ankstesnių laikų kompozitoriai - Mendelsonas, Schumannas, Schubertas ir, svarbiausia, Bachas. Jis taip pat kūrė literatūrą anglų ir vokiečių kalbomis.
1877 m. buvo paskirtas dvaro dirigentu, atsakingu už karališkosios koplyčios muziką. Vėliau jam buvo suteiktas Miuncheno Liudviko Maksimiliano universiteto garbės daktaro vardas. Buvo žymus pedagogas, tarp jo mokinių buvo daug amerikiečių, tarp jų - Horacijus Parkeris, Viljamas Bervaldas, Džordžas Vaitfildas Čadvikas, Bruno Kleinas, Sidnėjus Homeris ir Henris Holdenas Husas. Tarp kitų jo mokinių buvo svarbių Europos asmenybių: italų kompozitorius Ermanno Wolf-Ferrari, serbų kompozitorius Stevanas Stojanovičius Mokranjacas, vokiečių kompozitoriai Engelbertas Humperdinckas, Richardas Straussas ir dirigentas (ir kompozitorius) Wilhelmas Furtwängleris. Žr: Muzikos mokinių sąrašą pagal mokytoją: R-S#Josefas Rheinbergeris. Įsteigus antrąją (ir dabartinę) Miuncheno konservatoriją, J. Rheinbergeris buvo paskirtas vargonų ir kompozicijos karališkuoju profesoriumi ir šias pareigas ėjo visą likusį gyvenimą.
1892 m. gruodžio 31 d. po ilgos ligos mirė jo žmona, o po dvejų metų prasta sveikata privertė jį atsisakyti dvaro muzikos direktoriaus pareigų.
Jo religiniai kūriniai: dvylika mišių (viena dvigubam chorui, trys keturiems balsams a cappella, trys moterų balsams ir vargonams, dvi vyrų balsams ir viena su orkestru), Requiem ir Stabat Mater. Tarp kitų jo kūrinių - kelios operos, simfonijos, kamerinė muzika ir choriniai kūriniai.
Rheinbergeris mirė 1901 m. Miunchene, palaidotas Alter Südfriedhof. Per Antrąjį pasaulinį karą jo kapas buvo sunaikintas, o 1950 m. jo ir žmonos palaikai buvo perkelti į gimtąjį Vaduco miestą.