Nielseno tėvas buvo paprastas amatininkas, tačiau padedamas draugų studijavo Kopenhagos konservatorijoje. Nuo mažens jis dvylika metų buvo antrasis smuikininkas Karališkajame orkestre, kuris 1892 m. atliko jo Pirmosios simfonijos premjerą. Tai buvo šiek tiek paveikta Brahmso muzikos, tačiau jau labai asmeniška, perteikianti dviejų tonalybių kovą, kuri tampa jam įprastu stiliumi. Jis pradėjo diriguoti savo kūrinius – 1901 m. pasirodė jo dabar populiari Antroji simfonija („Keturi temperamentai“). Šie temperamentai yra susiję su žmonėmis ir jų sąlygomis, perteikia skirtingas žaidėjo asmenybes. Visų šešių Nielseno simfonijų nereikėtų laikyti programine muzika. Tik po posto Karališkajame orkestre jis galėjo visiškai atsiduoti kompozicijai. „Muzika, kaip ir gyvenimas, yra neaprėpiama“, – pareiškė jis, ir ši būdinga energinga ir pozityvi nuotaika, nepasiduodanti melancholijai, suteikė Ketvirtajai simfonijai pavadinimą ir puoselėjo daugelio jo kūrinių atmosferą. Jo kūryboje dažnai galima aptikti grotesko elementų. Pavyzdžiui, Fleitos koncerte solo grojimą trikdo vulgarūs bosinių trimitų trukdžiai, o gerokai griežtesniame Klarneto koncerte laisvai agresyvus būgnas koncerto beveik sugriauna. Šis beprasmis konkurencijos elementas ypač pastebimas Ketvirtojoje simfonijoje, kur finale kovoja dvi timpanų grupės, taip pat Penktosios simfonijos grobio dalinime, kurio egzistavimui grėsmę kelia karingas būgnas. Tačiau kita šio elemento pusė – progresyvi tonacija (pradžios raktą užkariauja kitas), kurį Nielsenas vertino.
