Alfvén urodził się w Sztokholmie w Szwecji i studiował w Królewskiej Wyższej Szkole Muzycznej (Kungliga Musikhögskolan) w latach 1887-1891, gdzie jego głównym instrumentem były skrzypce, a lekcje pobierał u Larsa Zetterquista. Pobierał również prywatne lekcje kompozycji od Johana Lindegrena, czołowego eksperta w dziedzinie kontrapunktu. W tym samym czasie grał na skrzypcach w Operze Królewskiej w Sztokholmie w latach 1890-1892.
Począwszy od 1897 roku, Alfvén przez następne dziesięć lat podróżował po Europie. Studiował technikę gry na skrzypcach w Brukseli u Césara Thomsona i uczył się dyrygentury w Dreźnie u Hermanna Ludwiga Kutzschbacha. W latach 1903-4 był profesorem kompozycji w Królewskim Konserwatorium w Sztokholmie. Od 1910 r. Alfvén był dyrektorem muzycznym na Uniwersytecie w Uppsali (stanowisko to piastował do 1939 r.). Kierował tam również męskim chórem Orphei Drängar (lub "O.D.") (do 1947 r.). Dyrygował na festiwalach w Uppsali (1911), Dortmundzie (1912), Stuttgarcie (1913), Göteborgu (1915) i Kopenhadze (1918-1919). Przez całe życie koncertował w Europie jako dyrygent. W 1917 r. uzyskał tytuł doktora honoris causa w Uppsali, a w 1908 r. został członkiem Królewskiej Akademii Muzycznej w Sztokholmie. Alfvén nagrał część swojej muzyki orkiestrowej w stereo pod koniec 1954 roku (pierwsze klasyczne nagrania stereo dokonane w Szwecji); nagrania zostały wydane na LP w USA przez Westminster Records. Wydano trzypłytową kolekcję nagrań Alfvéna jako dyrygenta.