Taline gimęs Kaljuste yra Estijos choro dirigento Heino Kaljustės (1925–1989) ir radijo žurnalistės Lios Kaljustės sūnus. Tõnu vaikystėje dainavo savo tėvo choruose, o 1971 m. baigė Talino muzikos vidurinę mokyklą (Tallinna Muusikakeskkool). 1976 m. baigė Talino konservatorijos magistrantūros studijas pas Jüri Variste ir Romaną Matsovą, o toliau studijavo aspirantūroje. Leningrado konservatorijoje iki 1978 m.
1974 m. Kaljuste pradėjo vadovauti savo tėvui kaip Ellerhein kameriniam chorui, ansambliui, kuris atliko chorinius kūrinius nuo Renesanso iki šiuolaikinės avangardinės muzikos. 1978–1980 m. buvo choro dirigavimo profesorius Talino konservatorijoje, o 1980 m. tarptautiniame Bélos Bartóko chorų konkurse laimėjo geriausio dirigento prizą. Estijos vyriausybei finansiškai remiant, Kaljuste kamerinį chorą Ellerhein pavertė visu etatu veikiančiu kolektyvu, o 1981 m. jį pervadino Estijos filharmonijos kameriniu choru. 1978–1995 m. Kaljustė taip pat dirigavo Estijos nacionalinėje operoje.
1980 m. spalį Kaljustė pasirašė 40 intelektualų laišką – viešą laišką, kuriame keturiasdešimt iškilių Estijos intelektualų gynė estų kalbą ir protestavo prieš Kremliaus rusifikavimo politiką Estijoje. Pasirašiusieji taip pat išreiškė nepasitenkinimą Respublikos lygmens vyriausybe griežtai sprendžiant jaunimo protestus Taline, kilusius prieš savaitę uždraudus viešą pankroko grupės „Propeller“ pasirodymą.
Estijai 1991 m. atgavus nepriklausomybę, daugelis kliūčių tarptautiniam pasirodymui ir įrašams buvo panaikinti, o Kaljuste išgarsėjo ECM Records įrašais estų kompozitorių, tokių kaip Veljo Tormis, Erkki-Svenas Tüüras, Heino Elleris ir kt. Arvo Pärtas. 1993 m. subūrė Talino kamerinį orkestrą; 1994–2000 m. jis taip pat buvo Švedijos radijo choro, taip pat Nyderlandų kamerinio choro (1998–2000) vyriausiasis dirigentas.
Be estų kompozitorių, Kaljustė taip pat įrašė Bethoveno, Pendereckio, Alfredo Schnittke's, Rachmaninovo, Mocarto, Sergejaus Tanejevo, Vivaldi ir kitų kūrinius.
2014 m. Kaljuste buvo įtraukta į estų pasaulio sąrašą kaip antra pagal ryškumą tais metais estų vieta iškart po Arvo Pärto. Tõnu Kaljuste laimėjo „Grammy“ apdovanojimą geriausio chorinio atlikimo kategorijoje už savo kūrinį kompozitoriaus Arvo Pärto albume „Adam’s Lament“ 56-ajame kasmetiniame „Grammy“ apdovanojimų ceremonijoje Los Andžele. 2019 m. gegužės 10 d. Tõnu Kaljustei buvo įteiktas Tarptautinis klasikinės muzikos apdovanojimas (ICMA) šiuolaikinės muzikos kategorijoje iškilmingame renginyje Liucernoje, Šveicarijoje. Kaljuste apdovanojimą gavo už keturių Arvo Pärto simfonijų įrašą su NFM Wrocław Philharmonic Orchestra (ECM).
