Харьковский художественный музей появился благодаря стараниям известного архитектора и общественного деятеля В. Н. Карамазина. В 1805 году для кабинета изящных искусств Харьковского университета было приобретено около двух с половиной тысяч произведений. И именно с них начала формироваться современная коллекция музея.

Постепенно в кабинете появлялись новые скульптуры и картины. В 1835 году в университете был введен новый устав, и кабинет изящных искусств переименовали в Музей изящных искусств и древностей Харьковского университета.

Харьков стремительно превращался в экономический и культурный центр, что дало возможность помимо университетского музея открыть городской Художественно-промышленный музей. Официальная церемония состоялась в 1886 году. Экспозицию нового музея составили частные пожертвования, часть экспонатов Музея изящных искусств и щедрый дар Академии художеств, передавшей в музей 22 скульптуры и почти 40 полотен. Нельзя не отметить и художника С. И. Васильковского, пожертвовавшего 1348 своих работ.

После октябрьской революции было принято решение создать на базе городского музея Центральный художественный музей имени Григории Сковороды и Музей украинского искусства. Для новых музеев были пожертвованы национализированные экспонаты из частных коллекций. В результате, общий фонд музеев насчитывал более 75 тысяч экспонатов.

Музей сильно пострадал во время войны. Эвакуировать удалось очень немного экспонатов, всего вывезли около четырехсот тысяч экспонатов составлявших основу экспозиции музея. Остальные были расхищены или уничтожены. Здание музея сожгли, вместе с ним сгорела часть коллекции, многие картины оккупанты увезли с собой.

В 1944 году музей вновь переезжает, на этот раз он разместился в двухэтажном строении, выстроенном по проекту архитектора А. Н. Бекетова. Экспозиция была разбита на отделы и разместилась в 26 выставочных залах. Здесь представлены работы отечественного и зарубежного искусства, созданные в дореволюционный и более поздний период.

Помимо сохранения культурного наследия музей ставит одной из главнейших целей своей работы популяризацию изящных искусств мастеров прошлого и современников.