Гольтерманн родился в Ганновере. Его отец был органистом, и поэтому он рано приобщился к музыке. В Мюнхене он брал уроки игры на виолончели у Йозефа Ментера, самого выдающегося баварского виртуоза своего времени. Он брал уроки композиции у Игнаца Лахнера. Он также учился дирижировать.
В 1852 году, после непродолжительных гастролей по Европе в качестве солиста-виолончелиста, он стал музыкальным директором в Вюрцбурге. В 1853 году он принял предложение стать заместителем музыкального директора муниципального театра Stadttheater во Франкфурте-на-Майне, где в 1874 году получил должность капельмейстера (главного музыкального директора). Он умер во Франкфурте-на-Майне.