Второй из трех сыновей Евзеля Гинцбурга - Герц, или, как его звали по-русски, Гораций Осипович,- продолжил начинания отца не только как предприниматель, но и как еврейский общественный деятель.
Вслед за отцом он возглавил Банкирский дом "И.Е. Гинцбург", основал ряд других предприятий, в том числе сахароваренные заводы в Подольской губернии, золотые прииски, акционерное общество "Платина", компанию цепного пароходства по реке Шексне. Гораций Гинцбург был членом совета Фондовой биржи, гласным городской думы (до 1892 года). В течение 40 лет он возглавлял Петербургскую еврейскую общину и Общество для распространения просвещения между евреями в России (ОПЕ).
В течение 4 лет Гораций Гинцбург безвозмездно исполнял обязанности консула Гессен-Дармштадтского герцогства в Петербурге. За это Гессен-Дармштадтский герцог пожаловал ему баронский титул, право на который распространялось и на потомство Горация, а вскоре было дано и его отцу Евзелю.
Александр II предоставил Гинцбургам право пользоваться этим титулом в России. Однако когда в 1902 году Гораций Гинцбург подал прошение о пожаловании ему российского дворянства (на что имел право в силу полученных за благотворительную деятельность чинов и орденов), он получил отказ. Гессен-Дармштадтские бароны Гинцбурги остались российскими потомственными почетными гражданами.
Как и отец, Гораций Гинцбург постоянно ходатайствовал за евреев, подавая в правительство записки по различным поводам. Кроме того, он участвовал в работе ряда правительственных комиссий. При Александре II его деятельность порой была успешной. В следующее царствование условия изменились. Хотя Гинцбургу и разрешили собрать в Петербурге еврейских представителей для ходатайства об улучшении положения евреев, но в ответ на прошение министр внутренних дел граф Н.П. Игнатьев заявил: "Западная граница открыта для евреев. Они и так имеют уже много прав, и их эмиграции не будут препятствовать". В течение 5 лет Гораций Гинцбург возглавлял работу по подготовке материалов и предложений по "еврейскому вопросу" для Паленовской комиссии, но работа комиссии не принесла никаких результатов.
За участие в благотворительной деятельности Гораций Гинцбург был награжден несколькими российскими орденами и медалями. Он вместе с принцем П.Г. Ольденбургским был одним из основателей Петербургского археологического института, Института экспериментальной медицины, входил в число попечителей и членов правления ряда приютов, богаделен, больниц, был членом комиссии городской думы по благотворительности. Таким образом, он строго следовал талмудическому предписанию жертвовать средства на благотворительные цели не только для евреев, но и для всего населения страны, где проживает та или иная еврейская община.
Но более всего Гораций Гинцбург был известен как основатель и участник еврейских благотворительных обществ. Он был поддержан в своих начинаниях всеми домочадцами. В списках жертвователей на различные общинные нужды упоминаются не только Евзель, а затем Гораций Гинцбурги, но также жена Горация Анна, сыновья и невестки. В доме, где жила многочисленная семья Гинцбургов, располагались, сменяя друг друга, возглавлявшиеся членами семьи различные еврейские организации. В завещании Горация Гинцбурга сказано, что при жизни он много жертвовал на благотворительные цели и потому не завещает на них специальных сумм, но надеется, что его дети, следуя традициям семьи и всего еврейского народа, продолжат дело благотворительности. Гораций оказался провидцем - потомки Гинцбургов до сих пор участвуют в благотворительных акциях.