Był amerykańskim autorem tekstów piosenek, kompozytorem, aranżerem muzycznym, dyrygentem i pianistą. Otrzymał przydomek "Beulah" od kolegi Conrada Salingera. Jego najbardziej znaną piosenką była jedna z jego najwcześniejszych, "Body and Soul" z rewii Three's a Crowd. Green zdobył cztery Oscary za swoje partytury filmowe i piątego za produkcję krótkometrażowego filmu muzycznego, a w 1972 roku został wprowadzony do Songwriters Hall of Fame. Został również uhonorowany gwiazdą na Hollywood Walk of Fame.
Green napisał wiele piosenek, które stały się standardami jazzowymi, w tym "Out of Nowhere" i "Body and Soul". Napisał muzykę do różnych filmów i programów telewizyjnych. Jego najwcześniejsze piosenki pojawiały się z podpisem "John W. Green", do którego powrócił w latach 60-tych. Później każdy, kto zwracał się do niego "Johnny", był korygowany stwierdzeniem: "Możesz nazywać mnie John - lub możesz nazywać mnie Maestro!"
Na początku swojej kariery muzycznej aranżował dla orkiestr tanecznych, w szczególności dla Jean Goldkette w NBC. Był akompaniatorem/aranżerem takich muzyków jak James Melton, Libby Holman i Ethel Merman. To właśnie podczas pisania materiału dla Gertrude Lawrence w 1930 roku skomponował "Body and Soul", którego pierwsze nagranie zostało wykonane przez Jack Hylton & His Orchestra jedenaście dni przed tym, jak piosenka została objęta prawami autorskimi.
W latach 1930-1933 Green był aranżerem i dyrygentem dla Paramount Pictures i pracował z takimi piosenkarzami jak Ethel Merman, Gertrude Lawrence i James Melton. Skomponował wiele przebojów w latach 30-tych, w tym pierwszy przebój Binga Crosby'ego "Out of Nowhere" (1931, współautor z Edwardem Heymanem), "Rain Rain Go Away" (1932), "I Cover the Waterfront", "You're Mine You", "I Wanna Be Loved" (wszystkie 1933), "Easy Come Easy Go" i "Repeal The Blues" (oba 1934). Skomponował również temat do kreskówek Maxa Fleischera Betty Boop w 1932 roku, z Edwardem Heymanem jako autorem tekstów.
Po 1933 roku Green miał własną orkiestrę, z którą występował w całym kraju. Do 1940 roku dyrygował również orkiestrami dla płyt i programów radiowych Jacka Benny'ego i Philipa Morrisa.
