Jest współzałożycielem w 1967 roku grupy rockowej Savage Rose. Od 1976 do 2012 roku był członkiem tria Bazaar. Gra w trio Koppel-Andersen-Koppel, w skład którego wchodzi jego syn, saksofonista Benjamin Koppel, założyciel wytwórni płytowej Cowbell i były dyrektor muzyczny Jazzhus Montmartre. Anders Koppel dwukrotnie otrzymał duńską nagrodę filmową Robert za najlepszą muzykę filmową (1994 i 1996). Jego pierwsza córka Sara Koppel jest animatorką i artystką, a druga córka Marie Carmen Koppel jest piosenkarką gospel, soul i jazz.
Koppel skomponował muzykę do ośmiu baletów dla New Danish Dance Theatre oraz muzykę do ponad 150 filmów, 50 sztuk teatralnych i trzech musicali. Skomponował również ponad 90 utworów na zespoły klasyczne, muzykę kameralną i 20 koncertów, w tym dwa koncerty saksofonowe i cztery koncerty na marimbę.
W dzieciństwie grał na fortepianie ze swoim ojcem, kompozytorem Hermanem D. Kopplem, a później na klarnecie, występując w telewizji i na koncertach. Na organach zaczął grać w 1966 roku.