Jest amerykańskim saksofonistą tenorowym, kompozytorem i aranżerem w stylu bebop/hard bop jazz. Zyskał rozgłos dzięki big bandom Lionela Hamptona i Dizzy'ego Gillespie, bardziej jako autor tekstów niż wykonawca, zanim rozpoczął karierę solową. Golson jest znany jako współzałożyciel i współprowadzący Jazztet z trębaczem Artem Farmerem w 1959 roku. Od późnych lat 60-tych do 70-tych Golson był poszukiwany jako aranżer filmowy i telewizyjny, przez co był mniej aktywny jako wykonawca, ale on i Farmer ponownie utworzyli Jazztet w 1982 roku.
Wiele kompozycji Golsona stało się standardami jazzowymi, w tym "I Remember Clifford", "Blues March", "Stablemates", "Whisper Not", "Along Came Betty" i "Killer Joe". Jest uważany za "jednego z najbardziej znaczących współtwórców" rozwoju jazzu hard bop i otrzymał nagrodę Grammy Trustees Award w 2021 roku.