1 сентября 1869 года император Александр II утвердил постановление Комитета министров о разрешении петербургским евреям построить синагогу взамен существующих молелен. Уже 11 сентября представители всех молелен столицы избрали комитет для постройки синагоги. Возглавил этот комитет Гораций Гинцбург. Начался сбор средств на строительство. Самое большое пожертвование сделал Евзель Гинцбург (70 тысяч рублей), по 25 тысяч внесли С.С. Поляков и И.А. Вавельберг, по 10 тысяч - А.М. Варшавский и А.И. Зак, остальные (всего 170 человек) от 7 тысяч (Леон Розенталь) до 2 рублей (доктор Самсонович из Киева). Половину мест решено было продать в вечное владение и эти деньги также употребить для строительства. Когда впоследствии денег все же не хватило, пришлось взять ссуду в Петербургско-Московском коммерческом банке (70 тысяч рублей), а затем обратиться с просьбой о ссуде к Горацию Гинцбургу, Самуилу и Даниилу Поляковым.
Оставалось найти место для будущей постройки. Петербургский полицмейстер Ф.Ф. Трепов запретил покупку первоначально намеченного участка земли на углу Гороховой улицы и набережной Фонтанки из-за близости к православной церкви. Неудачей закончилась и попытка приобрести участок земли на Большом Царскосельском проспекте возле Обуховского моста. Наконец летом 1872 года секретарь общины Л.О. Гордон нашел участок на углу Офицерской и Большой Мастерской улиц. Ф.Ф. Трепов вновь не дал разрешения, указав, что "еврейская синагога не должна быть построена в населенной части города во избежание накопления в ней черни и сопряженной с нею грязи". Только в 1878 году, после смещения Трепова, общине удалось добиться разрешения на покупку дома и участка А.А. Ростовского на Большой Мастерской улице, который и был приобретен 16 января 1879 года за 65 тысяч рублей.
Дискуссия о проекте здания велась еще с 1878 года. В ней принял горячее участие известный русский искусствовед В.В. Стасов, доказывавший, что стиль будущей синагоги должен быть близок к мавританскому.
Л.О. Гордон возражал, что "евреи при постройке своих храмов никогда не держались преемственного стиля. Они заимствовали стиль у господствовавшего в данное время и в данной местности народа" и, сохраняя внутренний смысл своей веры, "мало обращали внимания на внешность". В июле 1879 года был объявлен конкурс. Специальное жюри во главе с В.В. Стасовым признало лучшим проект Бахмана и Шапошникова. Но когда в марте 1880 года проект был представлен на утверждение Александру II, последовала резолюция: "Переделать проект в более скромных размерах".
Это было ударом для общины. К счастью, архитекторы согласились бесплатно сделать новый проект.
Наконец, 16 мая 1883 года Александр III утвердил эскизный проект синагоги. После доработки проекта в 1883 году приступили к строительству. Им руководил Строительный комитет во главе с А.А. Кауфманом. Архитектором - производителем работ был назначен А.В. Малов, его помощниками - С.О. Клейн и Б.И. Гиршович. Летом 1883 года строительство было прервано до 1884 года в связи с переработкой проекта в сторону его удешевления. Куратором проекта становится Н.Л. Бенуа, а председателем Строительного комитета назначен С.С. Поляков. Уже в первый день праздника Суккот 13 октября 1886 года была освящена Малая синагога. Лепной потолок в ней сделал скульптор Моисей Израилевич Анолик. Арон Кодеш был изготовлен столярным мастером Берманом и позолотчиком Соломоном Антовилом. В Малой синагоге до открытия большого зала разместилась Временная синагога, а потом помещалась хасидская Купеческая молельня.
В 1888 году купол здания был украшен орнаментом и строительство завершено. Пять лет продолжалась отделка интерьеров синагоги. Основные штукатурные, малярные и столярные работы были сделаны подрядчиком М. Гиммельфарбом, скамейки на первом этаже - столярным мастером Берманом, чугунные решетки для лестниц изготовлены на заводе Исидора Гольдберга. Арон Кодеш для Большой синагоги в память об отце пожертвовали сыновья Евзеля Гинцбурга. 8 декабря 1893 года прошла церемония торжественного освящения Большой синагоги. Руководители общины открыли серебряным ключом центральную дверь и внесли в зал 7 свитков Торы. Первый свиток нес председатель правления общины барон Г.О. Гинцбург, за ним шли с зажженными свечами М.А. Варшавский и Л.Я. Поляков. Так, после 24-летней эпопеи с разрешением и строительством открылась Петербургская Большая хоральная синагога.