Był organistą i kompozytorem pochodzącym z Liechtensteinu, przez większość życia mieszkającym w Bawarii. Jako nadworny dyrygent w Monachium był odpowiedzialny za muzykę w kaplicy królewskiej. Znany jest z muzyki sakralnej, utworów na organy i utworów wokalnych, takich jak msze, kantata bożonarodzeniowa i motet Abendlied; skomponował także dwie opery i trzy singspiele, muzykę incydentalną, świecką muzykę chóralną, dwie symfonie i inne utwory instrumentalne, muzykę kameralną i utwory na organy.
Rheinberger urodził się 17 marca 1839 roku w Vaduz jako syn Johanna Petera Rheinbergera i jego matki Elisabeth Carigiet jako jedno z jedenaściorga dzieci, w tym jego brata Petera Rheinbergera.
Już w wieku siedmiu lat służył jako organista w kościele parafialnym w Vaduz, a jego pierwsza kompozycja została wykonana w następnym roku. W 1849 roku studiował u kompozytora Philippa M. Schmutzera (31 grudnia 1821 - 17 listopada 1898) w Feldkirch w Vorarlbergu.
W 1851 roku jego ojciec, który początkowo sprzeciwiał się pragnieniu syna, aby rozpocząć życie profesjonalnego muzyka, ustąpił i pozwolił mu wstąpić do Konserwatorium w Monachium. Niedługo po ukończeniu studiów został profesorem fortepianu i kompozycji w tej samej instytucji. Kiedy ta pierwsza wersja Konserwatorium Monachijskiego została rozwiązana, został mianowany répétiteur w Teatrze Dworskim, z którego zrezygnował w 1867 roku.
Wpływy stylistyczne na Rheinbergera wahały się od współczesnych, takich jak Brahms, do kompozytorów z wcześniejszych czasów, takich jak Mendelssohn, Schumann, Schubert, a przede wszystkim Bach. W 1877 roku został mianowany nadwornym dyrygentem, odpowiedzialnym za muzykę w kaplicy królewskiej. Następnie otrzymał tytuł doktora honoris causa Uniwersytetu Ludwika Maksymiliana w Monachium. Jako wybitny nauczyciel, wśród swoich uczniów miał wielu Amerykanów, w tym Horatio Parkera, Williama Berwalda, George'a Whitefielda Chadwicka, Bruno Kleina, Sidneya Homera i Henry'ego Holdena Hussa. Innymi jego uczniami były ważne osobistości z Europy: włoski kompozytor Ermanno Wolf-Ferrari, serbski kompozytor Stevan Stojanovic Mokranjac, niemieccy kompozytorzy Engelbert Humperdinck i Richard Strauss oraz dyrygent (i kompozytor) Wilhelm Furtwängler. Zobacz: Lista studentów muzyki według nauczycieli: R do S#Josef Rheinberger. Kiedy założono drugie (i obecne) Konserwatorium w Monachium, Rheinberger został mianowany królewskim profesorem organów i kompozycji, które to stanowisko piastował do końca życia.
W dniu 31 grudnia 1892 r., po długiej chorobie, zmarła jego żona, a dwa lata później zły stan zdrowia skłonił go do rezygnacji ze stanowiska nadwornego dyrektora muzycznego.
Rheinberger zmarł w 1901 roku w Monachium i został pochowany w Alter Südfriedhof. Jego grób został zniszczony podczas II wojny światowej, a szczątki jego i jego żony zostały przeniesione do jego rodzinnego miasta Vaduz w 1950 roku.