Lankė Vilniaus pirmąją berniukų gimnaziją, veikusią Vilniaus universiteto rūmuose. Mokėsi privačioje M. Treskino muzikos mokykloje Skapo gatvėje. 1908 m. baigė Sankt Peterburgo konservatoriją (su pagyrimu). Grįžęs į Vilnių 1908–1915 m. dėstė Imperatoriškosios rusų muzikos draugijos Vilniaus skyriaus muzikos mokykloje. 1909 m. pradėjo organizuoti pirmąjį Vilniaus miesto simfoninį orkestrą. Koncertuodavo teatre, koncertų salėse, Botanikos ir Bernardinų soduose. K. Galkauskas pirmas Lietuvoje ėmė rengti koncertus su paskaitomis, paaiškinimais. 1914 m. bendradarbiavo Vilniaus meno draugijos leistame leidinyje „Meno diena“ . Karo metais (1915–1918), pasitraukus muzikos mokyklos personalui į Maskvą, K. Galkauskas tęsė darbą muzikos mokykloje. 1918 m., uždarius šią mokyklą, K. Galkauskas įkūrė privačią muzikos mokyklą, kuri epizodiškai veikė iki 1922 m. 1919 m. Vilniuje įkūrė valstybinį simfoninį orkestrą ir jam dirigavo.
K. Galkauskas mokytojavo Vilniaus Vytauto Didžiojo gimnazijoje, 1924–1933 m. dėstė muziką ir vadovavo chorui A. S. Puškino rusų gimnazijoje, dirbo Vilniaus žydų muzikos institute. 1941–1944 m. mokytojavo Vilniaus baltarusių gimnazijoje . Nuo 1940 m. dėstė Vilniaus valstybinėje muzikos mokykloje, 1945–1949 m. – Vilniaus konservatorijoje, 1949–1963 m. – Lietuvos TSR valstybinėje konservatorijoje
K. Galkauskas kūrė simfonijas, kamerinę, instrumentinę ir vokalinę muziką. Sukūrė operą „Čigonai“, operetę „Laimingasis princas“, baletų vaikams, kantatas J. Basanavičiui, M. K. Čiurlioniui, S. Dariui ir Girėnui atminti, siuitas chorui, dainų, romansų, pjesių fortepijonui. Harmonizavo lietuvių, rusų, baltarusių, lenkų, žydų liaudies dainas .
Yra išleistos K. Galkausko „Pjesės fortepijonui“ (Vilnius, 1965), „Kūriniai fortepijonui“ (Vilnius, 1976).
K. Galkauskas taip pat kūrė eilėraščius. Tarpukario metais jų vertimai buvo spausdinami „Vilniaus aide“.
Nors K. Galkauskas nemokėjo lietuviškai, bet, kaip rašo Rapolas Mackonis prisiminimų knygoje „Senoji vilniečių karta“, jį galime priskirti „prie taurios senų vilniečių kartos atstovų, daugiau ar mažiau aktyviai dalyvavusių mūsų kovose už lietuvių tautos teises“ .
Kaip rašė pats kompozitorius, visas jo gyvenimas (be septynerių metų (1901–1908), praleistų Peterburgo konservatorijoje) prabėgo Lietuvoje. Baigęs mokslus jis atsisakė siūlomų aukštesnių pareigų Rusijoje ir sugrįžo į savo gimtąjį miestą.
Apie kompozitoriaus asmenybę, gyvenimo kelią išleistos kelios knygos: Aldonos Matulaitytės (1901–1986) biografinė apybraiža „Konstantinas Galkauskas“ ir Liavono Luckevičiaus (Лявон Луцкевiч) bei Halinos Voicik (Галiна Войцiк) knygelė baltarusių kalba „Канстаньцiн Галкоўскi“ . Pastarojoje ypač akcentuojama baltarusiška K. Galkausko kilmė, jo ryšiai su baltarusių inteligentija, kompozitoriaus indėlis į baltarusių muzikos raidą. Apie muziką rašoma „Muzikos enciklopedijoje“ , Antano Rimvydo Čaplinsko „Vilniaus atminimo knygoje“ , „Русские в истории и культуре Литвы“ .
1918–1959 m. K. Galkauskas gyveno Vilniuje, Pylimo g. 20. Butas buvo be patogumų, šaltas, drėgnas. 1928 m. kompozitorius vargoninkavo greta esančioje Reformatų bažnyčioje. 1960 m. persikėlė į butą naujame name tuometinėje Karolio Požėlos gatvėje (dabar – A. Goštauto g.), kur gyveno iki mirties .
1967 m. Vilniuje, ant namo, Pylimo g. 20 (Senamiesčio seniūnija), kur 1918–1959 m. gyveno K. Galkauskas, buvo pritvirtinta memorialinė lenta