Goltermannas gimė Hanoveryje. Jo tėvas buvo vargonininkas, todėl jis anksti susipažino su muzika. Miunchene jis gavo violončelės pamokas iš Jozefo Menterio, svarbiausio to meto Bavarijos violončelės virtuozo. Kompozicijos pamokas jam vedė Ignazas Lachneris. Taip pat mokėsi diriguoti.
1852 m., po trumpų gastrolių po Europą kaip violončelininkas solistas, jis tapo Viurcburgo muzikos direktoriumi. 1853 m. priėmė pasiūlymą tapti Frankfurto prie Maino miesto teatro "Stadttheater" muzikos direktoriaus pavaduotoju. 1874 m. jis buvo paaukštintas iki kapelmeisterio (vyriausiojo muzikos direktoriaus). Mirė Frankfurte prie Maino.
