Музей был основан в 1807 году при Харьковском национальном университете практически сразу после появления самого университета. Началась жизнь музея очень скромно, с появления в университете комнаты древностей. Позже из Воронежской губернии и Ольвии стали поступать предметы древности и различные артефакты.

Потом экспозиция комнаты древностей пополнилась этнографической коллекцией доктора Ломбада собранной во время кругосветной экспедиции под руководством И. Ф. Крузенштерна. Новые экспонаты поступали в музей очень редко, в 1835 году она насчитывала чуть более сотни экспонатов.

В 1837 году при университете появился Музей изящных искусств, куда перекочевали коллекции из разных кабинетов, в том числе и из комнаты древностей. Но в дальнейшем экспозиция росла в основном за счет пожертвований, потому что в это время практически не велось планомерных археологических раскопок и изысканий.

Ситуация изменилась после проведения Археологического съезда и начала масштабных археологических исследований на территории харьковского края. В раскопках принимали участие многие харьковчане, и большая часть найденных предметов поступала в Музей изящных искусств, в котором появился отдел древностей.

В 1919 году коллекция отдела древностей стала основой для создания при харьковском университете Археологического музея. Его директором стал один из ведущих украинских археологов А. С. Федоровский.

Университет был ликвидирован в 1920 году и музей получил статус городского, а после восстановления университета в 1933 году Археологический музей стал частью исторического факультета. Место Федоровского занял его ученик И. Н. Луцкевич. Археологические исследования продолжались, коллекция музея уже насчитывала около двух ста экземпляров. Также в музее хранилась нумизматическая коллекция, насчитывающая более сорока тысяч монет и медалей.

В годы войны музей был почти полностью разграблен, но в послевоенные годы восстановлен стараниями ведущих харьковских и украинских археологов. Музей долгое время имел неофициальный статус и только в 1988 году по распоряжению ректора Харьковского университета появился Музей археологии и этнографии Слободской Украины.