Raffas gimė Lachene, Šveicarijoje. Jo tėvas, mokytojas, 1810 m. pabėgo ten iš Viurtembergo, kad išvengtų priverstinio verbavimo į tos pietvakarių Vokietijos valstybės, kuri turėjo kovoti už Napoleoną Rusijoje, kariuomenę. Joachimas daugiausia buvo savamokslis muzikos srityje, mokėsi šio dalyko dirbdamas mokyklos meistru Schmerikon, Schwyz ir Rapperswil. Kai kurias savo fortepijonines kompozicijas jis nusiuntė Felixui Mendelssohnui, kuris rekomendavo jas „Breitkopf & Härtel“ publikuoti. Jie buvo paskelbti 1844 m. ir sulaukė palankios apžvalgos Roberto Schumanno žurnale Neue Zeitschrift für Musik, todėl Raffas išvyko į Ciurichą ir pradėjo dirbti visą darbo dieną.
1845 m. Raffas nuėjo į Bazelį ir išgirdo, kaip Franzas Lisztas groja pianinu. Po laikotarpio Štutgarte, kur jis susidraugavo su dirigentu Hansu von Bülowu, 1850–1853 m. dirbo Liszto asistentu Veimare. Tuo metu jis padėjo Lisztui orkestruoti keletą jo kūrinių, tvirtindamas, kad jam teko didžioji dalis. orkestruodama simfoninę poemą Tasso. 1851 m. Veimare buvo pastatyta Raffo opera König Alfred, o po penkerių metų jis persikėlė į Vysbadeną, kur daugiausia atsidėjo kompozicijai. Nuo 1878 m. jis buvo pirmasis Frankfurto Hocho konservatorijos direktorius ir mokytojas. Ten jis įdarbino Clarą Schumann ir daugybę kitų iškilių muzikantų mokytojais ir įsteigė specialiai moterims kompozitorėms skirtą klasę. (Tai buvo tuo metu, kai moterys kompozitorės nebuvo vertinamos rimtai.) Jo mokiniai buvo Edwardas MacDowellas ir Alexanderis Ritteris.
