Syn autora dzieł z zakresu teologii żydowskiej. We wczesnym dzieciństwie zaczął wycinać różne przedmioty z kamienia szlifierskiego. Od 1870 r. pracował w manufakturze M. Antokolskiego w Petersburgu. Wykonał ornamenty na tronie posągu "Car Iwan Wasiljewicz Groźny" według rysunków F. Sołncewa. Jesienią 1871 r. wyjechał z Antokolskim do Włoch. Po powrocie do Petersburga (lato 1872 r.) uczył się w prywatnej szkole Girs, następnie przeniósł się do drugiej nieklasycznej szkoły średniej, a po jej ukończeniu w 1878 r. wstąpił do Cesarskiej Akademii Sztuk Pięknych, gdzie studiował do 1886 r. u A.R. von Bockha, N.F. Laveretsky'ego i I.I. Podozerova.
 W tym samym czasie uczęszczał do szkoły rysunku Cesarskiego Towarzystwa Zachęty Sztuk Pięknych. Wiosną 1880 r., będąc na rocznym zwolnieniu lekarskim, wyjechał do Francji. Zimą 1880-81 studiował w paryskiej pracowni Antokolsky'ego i przez kilka tygodni uczył się w prywatnej szkole artystycznej Filippo Colarossiego. Wiosną 1881 r. powrócił do Petersburga i rozpoczął studia w Cesarskiej Akademii Sztuk Pięknych. W 1885 roku otrzymał mały złoty medal za program "Portier niosący na ramieniu martwe zwierzę" (gips, Muzeum Naukowo-Badawcze Rosyjskiej Akademii Sztuk Pięknych). W 1886 roku Ginsburg otrzymał złoty medal i tytuł artysty pierwszej klasy za płaskorzeźbę "Płacz proroka Jeremiasza na ruinach Jerozolimy" (gips, fragmenty, Muzeum Naukowo-Badawcze Rosyjskiej Akademii Sztuk Pięknych, Państwowe Muzeum Rosyjskie). W 1911 r. otrzymał tytuł akademika. W 1884 r. odwiedził Francję i Niemcy, w 1887 r. - Rzym i Florencję, w 1889 r. Paryż. W 1892 r. podróżował po Europie Zachodniej. W 1897 r. we Włoszech (Werona, Padwa, Piza, Siena, Wenecja, Triest), w 1902 i 1908 r. w Paryżu, w 1909 r. odwiedził A. M. Gorkiego na wyspie Capri. W 1889 r. otrzymał medal trzeciej klasy na wystawie światowej w Paryżu, w 1900 r. - pierwszy złoty medal, w 1904 r. - złoty medal w St. Louis. Od 1912 roku Ginzburg został pełnoprawnym członkiem Stowarzyszenia Architektów-Malarzy. Tworzył głównie małe formy rzeźbiarskie. Autor figurek rodzajowych i portretowych. Wykonał szereg popiersi portretowych współczesnych - największych rosyjskich artystów, pisarzy, naukowców, aktorów, muzyków i osób publicznych. Pracował w dziedzinie rzeźby monumentalnej: stworzył pomniki N. W. Gogola w Soroczycach (1911, brąz, granit) i Iwana Aiwazowskiego w Feodozji (1915, brąz, granit), brał udział w konkursach na pomniki M. I. Glinki (1903) i A. N. Ostrowskiego (1916). Autor nagrobków Władimira Stasowa w Ławrze Aleksandra Newskiego w Petersburgu (1908, granit), M. M. Antokolskiego na cmentarzu Preobrażenskoje w Petersburgu (1909), D. N. Mamin-Sibiriaka na cmentarzu Wołkowskim w Petersburgu (1915, granit), M. M. Kowalewskiego i in. W ramach planu monumentalnej agitacji stworzył posągi G. V. Plechanova (1921-1925) i D. I. Mendelejewa (1932) dla Leningradu, a także grupy rzeźbiarskie "Luty 1917", "Obchody majowe", "W październikowe dni" (1962). W latach 1918-1925, będąc profesorem, kierował wydziałem rzeźby w Piotrogrodzkich Państwowych Wolnych Warsztatach Edukacyjnych. W latach 1921-1923 był dziekanem wydziału rzeźby. Autor licznych utworów literackich, wspomnień o swoich spotkaniach z artystami, pisarzami i osobami publicznymi.