Собор Успенской Пресвятой Богородицы был построен еще в 1657 году, поэтому он является самых старых строений Харькова. Начиналось все очень скромно – церковь всего 16 квадратных метром, бумажные иконы, не было даже книг для богослужения.

В 1657 году священники отправились в Москву, чтобы попросить у царя Алексея Михайловича денег на строительство Успенского собора и покупку необходимой утвари для него. Деньги были получены, позднее направлялись еще несколько прошений для того чтобы оснастить храм всем необходимым.

При подготовительных работах были обнаружены человеческие останки, и оказалось, что при старой церкви было кладбище, но территория все равно продолжили застройку.

К 1680 старому деревянному храму понадобился полный ремонт, конструкция пришла в ветхость. Вместо этого было принято решение выстроить новый и уже каменный. Для этой целее отвели площадку к северу от деревянной церкви. Руководил постройкой полковник Авдий Григорьевич. Согласно проекту собор был крестообразным с пятью куполами.

К 1688 году строительство завершили, и храм освятил митрополит Аврамий. На месте старого храма построили деревянную часовню, которая простояла до 1700 года, потом ее заменили каменной.

В 1733 году случился крупный пожар, оставивший от Успенского собора только каменные стены. Но уже через год храм полностью восстановили, установив на его крыше позолоченные кресты. В стенах храма заметили крупные трещины, было ясно, что ремонту постройка не подлежит. Храм начали разбирать и заложили новый. Строительство вели за счет пожертвований прихожан. Постройка была завершена уже в 1777 году, через год установили иконы и освятили храм, окончательную отделку закончили к 1783 году и храм окончательно освятили.

На собрании прихожан в 1818 году было решено воздвигнуть колокольню. Проект для нее разработал профессор архитектуры Евгений Васильев. Старая колокольня была разобрана. Строительство новой велось медленно и было окончательно закончено к 1841 году. Упор в строительстве делался на прочность, фундамент был заглублен на десять метров при толщине фундаментных стен шесть метров. На колокольне установили двенадцать колоколов.