Дворец был построен в 1770-1777 годах по приказу Екатерины II, но побывала она здесь лишь однажды по пути из Крыма в Санкт-Петербург. Автором проекта был московский архитектор М. Тихменев, но строительством руководил сначала архитектор И. М. Вильянов, а позже П. А. Ярославский специально для этой целее прибывший из Москвы.

К приезду императрицы во дворе губернаторского дворца возвели деревянный торжественный зал, который позже превратили в первый в Харькове постоянный театр. Но театр просуществовал не долго, представления он давал всего пять лет, потом деревянную постройку снесли.

После частичной реконструкции в 1804 году дворец передали Харьковскому университету, в строении разместился сначала главный корпус Имперского университета, а позже Украинского заочного политехнического института и Украинской инженерно-педагогической академии.

Здание построено в стиле барокко с переходом к классицизму, что подчеркивает его роскошь и утонченность, но в то же время сдержанную без излишеств. Современный вид дворца напоминает классические английские постройки, но с некоторым нарядным местным колоритом.

В наши дни здание выглядит несколько скромнее, после реконструкции многие декоративные элементы с него были сняты. Центральная часть здания оформлена богаче и имеет большую высоту по сравнению с флигелями. Ранее фасад дворца украшал трех арочный портик, над которым располагалась небольшая площадка-балкон. По обеим сторонам симметрично были размещены арочные въезды в виде триумфальных арок.

Мемориальные доски на фасаде здания напоминают о баррикадных боях 1905 года и революционном студенчестве, принимавшем участия в них. Погибшие при тех печальных событиях показывают пример мужества и самоотверженности нынешним учащимся.

Дворец имеет насыщенную историю. Построенные по прихоти императрицы он между тем занял свое почетное место среди памятников архитектуры Харькова. Стараниями горожан дворец реставрировался, здание сменило много владельцев, но всегда служило на благо городу, как театр или учебное заведение.