Сын автора трудов по еврейскому богословию. Начал вырезать различные предметы из точильного камня в раннем детстве. С 1870 года работал на мануфактуре М. Антокольского в Петербурге. Выполнил орнаменты на трон статуи "Царь Иван Васильевич Грозный" по рисункам Ф. Солнцева. Осенью 1871 года уехал в Италию вместе с Антокольским. По возвращении в Петербург (лето 1872 года) учился в частной школе Гирса, затем перешел во 2-ю неклассическую гимназию и, окончив ее в 1878 году, поступил в Императорскую Академию художеств, где учился до 1886 года у А.Р. фон Бокха, Н.Ф. Лаверецкого и И.И. Подозерова.
Одновременно он посещал рисовальную школу Императорского общества поощрения художеств. Весной 1880 года, находясь в годичном отпуске по болезни, уехал во Францию. Зимой 1880-81 годов занимался в парижской мастерской Антокольского и несколько недель учился в частной художественной школе Филиппо Коларосси. Весной 1881 года вернулся в Петербург и вновь поступил в Императорскую Академию художеств. В 1885 году получил малую золотую медаль за программу "Портье, несущий на плече мертвое животное" (гипс, Научно-исследовательский музей Российской академии художеств). В 1886 году Гинзбург был удостоен золотой медали и звания художника первого класса за барельеф "Плач пророка Иеремии на развалинах Иерусалима" (гипс, фрагменты, Научно-исследовательский музей Российской академии художеств, Государственный Русский музей). В 1911 году был удостоен звания академика. В 1884 году посетил Францию и Германию, в 1887 году - Рим и Флоренцию, в 1889 году - Париж. В 1892 году путешествовал по Западной Европе. В 1897 году в Италии (Верона, Падуя, Пиза, Сиена, Венеция, Триест), в 1902 и 1908 годах - в Париже, в 1909 году гостил у А. М. Горького на острове Капри. Был награжден медалью третьего класса на всемирной выставке в Париже в 1889 году, в 1900 году - получил первую золотую медаль, в 1904 году - получил золотую медаль в Сент-Луисе. С 1912 года Гинзбург стал действительным членом Общества архитекторов-художников. Он работал преимущественно в малых скульптурных формах. Автор жанровых и портретных статуэток. Выполнил ряд портретных бюстов современников - крупнейших русских художников, писателей, ученых, актеров, музыкантов и общественных деятелей. Работал в области монументальной скульптуры: создал памятники Н. В. Гоголю в Сорочинцах (1911, бронза, гранит) и И. К. Айвазовскому в Феодосии (1915, бронза, гранит), участвовал в конкурсах на памятники М. И. Глинке (1903) и А. Н. Островскому (1916). Автор надгробий В. В. Стасову в Александро-Невской лавре в Петербурге (1908, гранит), М. М. Антокольскому на Преображенском кладбище в Петербурге (1909), Д. Н. Мамину-Сибиряку на Волковом кладбище в Петербурге (1915, гранит), М. М. Ковалевскому и др. По плану монументального агитпропа им были созданы статуи Г. В. Плеханова (1921-1925) и Д. И. Менделеева (1932) для Ленинграда, а также скульптурные группы "Февраль 1917 года", "Майские торжества", "В дни Октября" (1962). В 1918-1925 годах, будучи профессором, заведовал скульптурным отделением Петроградских государственных свободных художественных учебных мастерских. В 1921-1923 годах был деканом скульптурного отделения. Автор многочисленных литературных произведений, мемуаров о своих встречах с художниками, писателями и общественными деятелями.
