Gimė Bergene. Skambinti fortepijonu Grygą mokė motina. 1858 m. jis susipažino su legendiniu Norvegijos smuikininku Ole Bull. Bull’is pastebėjo jaunuolio talentą ir įtikino tėvus išsiųsti jį į Leipcigo konservatoriją. Konservatorijoje Grygas daugiausia dėmesio skyrė fortepijonui. Jam nepatiko konservatorijos disciplina, tačiau sekėsi gerai. 1860 m. išgyveno po sunkios plaučių ligos. Kitamet debiutavo kaip pianistas Švedijoje. 1862 m. baigė studijas Leipcige ir pirmąkart koncertavo Bergene.
1868 m. Ferencas Listas, dar niekad nematęs Grygo, padėjo jam gauti paramą kelionėms. Jiedu susitiko Romoje 1870-aisiais. Listui paliko įspūdį Grygo pirmoji sonata smuikui, koncertas fortepijonui (kurį Listas čia pat perskaitė iš lapo).
1876 m. Grygas parašo muziką Henriko Ibseno dramos „Peras Giuntas“ pastatymui. Daug pjesių iš šio ciklo išpopuliarėjo kaip orkestrinės siuitos, buvo aranžuotos fortepijonui.