Žydų teologijos veikalų autoriaus sūnus. Ankstyvoje vaikystėje pradėjo iš šlifavimo akmens iškalinėti įvairius daiktus. Nuo 1870 m. dirbo M. Antokolskio manufaktūroje Sankt Peterburge. Pagal F. Solncevo brėžinius atliko "caro Ivano Vasiljevičiaus baisiojo" statulos sosto ornamentus. 1871 m. rudenį su F. Antokolskiu išvyko į Italiją. Grįžęs į Sankt Peterburgą (1872 m. vasarą) mokėsi privačioje Girso mokykloje, paskui perėjo į 2-ąją neklasikinę vidurinę mokyklą ir ją baigęs 1878 m. įstojo į Imperatoriškąją dailės akademiją, kur iki 1886 m. mokėsi pas A. R. von Bočką, N. F. Lavereckį ir I. I. Podozerovą.
Tuo pat metu lankė Imperatoriškosios meno skatinimo draugijos piešimo mokyklą. 1880 m. pavasarį, būdamas vienerių metų nedarbingumo atostogose, išvyko į Prancūziją. 1880-81 m. žiemą mokėsi Antokolskio dirbtuvėse Paryžiuje ir kelias savaites studijavo Filippo Colarossi privačioje dailės mokykloje. 1881 m. pavasarį grįžo į Sankt Peterburgą ir vėl mokėsi Imperatoriškojoje dailės akademijoje. 1885 m. gavo nedidelį aukso medalį už programą "Porininkas, nešantis ant pečių mirusį gyvulį" (gipsas, Rusijos dailės akademijos Mokslinių tyrimų muziejus). 1886 m. už bareljefą "Pranašo Jeremijo šauksmas ant Jeruzalės griuvėsių" (gipsas, fragmentai, Rusijos menų akademijos Mokslinių tyrimų muziejus, Valstybinis Rusijos muziejus) Ginsburgas apdovanotas aukso medaliu ir pirmos klasės dailininko titulu. 1911 m. jam suteiktas akademiko vardas. 1884 m. lankėsi Prancūzijoje ir Vokietijoje, 1887 m. - Romoje ir Florencijoje, 1889 m. - Paryžiuje. 1892 m. keliavo po Vakarų Europą. 1897 m. Italijoje (Veronoje, Paduvoje, Pizoje, Sienoje, Venecijoje, Trieste), 1902 ir 1908 m. - Paryžiuje, 1909 m. lankėsi pas A. M. Gorkį Kaprio saloje. 1889 m. pasaulinėje parodoje Paryžiuje apdovanotas trečiosios klasės medaliu, 1900 m. - pirmuoju aukso medaliu, 1904 m. Sent Luise - aukso medaliu. Nuo 1912 m. Ginzburgas tapo tikruoju Architektų-dailininkų draugijos nariu. Daugiausia kūrė mažosios plastikos formas. Žanrinių ir portretinių figūrėlių autorius. Atliko nemažai portretinių biustų amžininkams - žymiausiems rusų dailininkams, rašytojams, mokslininkams, aktoriams, muzikantams ir visuomenės veikėjams. Dirbo monumentaliosios skulptūros srityje: sukūrė paminklus N. V. Gogoliui Soročincuose (1911 m., bronza, granitas) ir Ivanui Aivazovskiui Feodosijoje (1915 m., bronza, granitas), dalyvavo paminklų M. I. Glinkos (1903 m.) ir A. N. Ostrovskiui (1916 m.) konkursuose. Antkapinių paminklų Vladimirui Stasovui Aleksandro Nevskio lavroje Sankt Peterburge (1908 m., granitas), M. M. Antokolskiui Preobražensko kapinėse Sankt Peterburge (1909 m.), D. N. Mamin-Sibiriakui Volkovo kapinėse Sankt Peterburge (1915 m., granitas), M. M. Kovalevskiui ir kt. autorius. Pagal paminklinio agitpropo planą sukūrė G. V. Plechanovo (1921-1925 m.) ir D. I. Mendelejevui (1932 m.) Leningradui, taip pat skulptūrines grupes "1917 m. vasaris", "Gegužės šventės", "Spalio dienomis" (1962 m.). 1918-1925 m. būdamas profesorius, vadovavo Petrogrado valstybinių laisvųjų dailės mokymo dirbtuvių skulptūros skyriui. 1921-1923 m. buvo skulptūros katedros dekanas. Daugelio literatūrinių kūrinių, atsiminimų apie susitikimus su dailininkais, rašytojais ir visuomenės veikėjais autorius.
