Reinecke gimė dabartiniame Hamburgo rajone Altonoje; techniškai jis gimė danu, nes iki 1864 m. miestas buvo Danijos valdžioje. Visus muzikinius mokymus jis gavo iš savo tėvo (Johanno Peterio) Rudolfo Reinecke (1795 m. lapkričio 22 d. – 1883 m. rugpjūčio 14 d.), muzikos mokytojo ir rašytojo muzikos temomis. Carlas iš pradžių atsidėjo smuikui, bet vėliau atkreipė dėmesį į fortepijoną. Jis pradėjo kurti būdamas septynerių, o pirmą kartą viešai pasirodė kaip pianistas, kai jam buvo dvylika metų.
Būdamas 19 metų, 1843 m. jis pradėjo savo pirmąjį koncertinį turą kaip pianistas per Daniją ir Švediją, po kurio ilgą laiką gyveno Leipcige, kur mokėsi pas Felixą Mendelssohną, Robertą Schumanną ir Franzą Lisztą; su buvusiais dviem jis užmezgė draugiškus santykius. Po viešnagės Leipcige Reinecke išvyko į gastroles su Königslöw ir Wilhelm Joseph von Wasielewski (vėliau Schumano biografu) Šiaurės Vokietijoje ir Danijoje. 1846 m. Reinecke buvo paskirtas Christian VIII rūmų pianistu Kopenhagoje. Ten jis išbuvo iki 1848 m., kai atsistatydino ir išvyko į Paryžių.Iš viso jis parašė keturis koncertus savo instrumentui (ir daug kadenzų kitų kūriniams, įskaitant didelį rinkinį, išleistą kaip jo Opus 87), taip pat koncertus smuikui, violončelei, arfai ir fleitai. 1850–1851 m. žiemą Carlas Schurzas praneša, kad Paryžiuje lankėsi kassavaitiniuose „muzikiniuose vakaruose“, kuriuose dalyvavo Reinecke.
1851 m. Reinecke tapo Kelno konservatorijos profesoriumi. Vėlesniais metais jis buvo paskirtas muzikiniu vadovu Barmene ir tapo Breslau Singakademie akademiniu, muzikiniu vadovu ir dirigentu.
1860 m. Reinecke buvo paskirtas Leipcigo Gewandhaus orkestro direktoriumi ir Leipcigo konservatorijos kompozicijos ir fortepijono profesoriumi. Jis vadovavo orkestrui daugiau nei tris dešimtmečius, iki 1895 m. Jis dirigavo tokioms premjeroms kaip Brahmso „Vokiško requiem“ (1869) visas septynių dalių versija. 1865 m. Gewandhaus-Quartett atliko jo fortepijoninio kvinteto, o 1892 m. D-dur styginių kvarteto premjerą.Reinecke geriausiai žinomas dėl savo sonatos fleitai „Undinė“, tačiau prisimenamas ir kaip vienas įtakingiausių ir įvairiapusiškiausių to meto muzikantų. Jis dirbo mokytoju 35 metus, iki išėjimo į pensiją 1902 m. Jo mokiniai buvo Edvardas Griegas, Basilis Harwoodas, Charlesas Villiersas Stanfordas, Christianas Sindingas, Leošas Janáčekas, Isaacas Albénizas, Augustas Maxas Fiedleris, Walteris Niemannas, Johanas Svendsenas, Richardas Franckas, Felix Weingartner, Max Bruch, Mikalojus Konstantinas Čiurlionis, Anna Diller Starbuck, Ernest Hutcheson, Felix Fox, August Winding, Elisabeth Wintzer, Mykola Lysenko ir daugelis kitų. Žr.: Muzikos mokinių sąrašas pagal mokytoją: R to S#Carl Reinecke.
Išėjęs į pensiją konservatorijoje, Reinecke savo laiką skyrė kompozicijai, todėl išleido beveik tris šimtus kūrinių. Jis parašė keletą operų (iš kurių nė viena šiandien neatliekama), įskaitant Königą Manfredą. Per tą laiką jis dažnai koncertavo į Angliją ir kitur. Jo grojimas fortepijonu priklausė mokyklai, kurioje buvo būdingas grakštumas ir tvarkingumas, o vienu metu jis tikriausiai buvo neprilygstamas kaip Mocarto grotuvas ir akompaniatorius. 1904 m., būdamas 80 metų, Welte-Mignon kompanijai jis įrašė septynis kūrinius, grojančius fortepijonu, todėl tapo anksčiausiai gimusiu pianistu, kurio grojimas buvo išsaugotas bet kokiu formatu. Vėliau jis padarė dar 14 „Aeolian Company“ „Autograph Metrostyle“ fortepijono ritinėlių vizualinio žymėjimo sistemai ir dar 20 – Hupfeld DEA atkuriamajai fortepijono ritinėlių sistemai.
