ロシア美術館は、1895年4月13日にロシア皇帝ニコライ2世によって父帝アレクサンドル3世を記念してロシア最初の国立美術館として開館した。ロシア美術館の最初のコレクションは、エルミタージュ美術館および、アレクサンドロフスキー宮殿、ロシア帝国美術アカデミー（英語版）の収蔵品から移動させられた。1917年のロシア革命後、多くの個人蔵のコレクションが国有財産となり、ロシア美術館の収蔵品となった。この中にはカジミール・マレーヴィチの「黒の正方形」（1915年）なども含まれる。

ロシア美術館の本館であるミハイロフスキー宮殿は、パーヴェル1世が第4皇子ミハイル大公のために建設を計画した宮殿である[1]。設計はイタリア人建築家カリオ・ロッシによって行われた。ロッシは、宮殿の設計に当たって細微に渡り自ら吟味した。内装に関しては時代の変遷によって大きくアレンジを施されたが、18本のコリント式列柱により、華麗なアンピール様式をもつメインエントランスホールは当時のままである。ミハイル大公の時代には、サンクトペテルブルクにおける宮廷文化の中心地の一角を占めていて、大公薨去後も、寡婦となったエレーナ大公妃主宰の文芸・音楽サロンが開かれ、これが契機となり、ロシア音楽友の会の発足を見る。ロシア音楽友の会は、ロシアにおける最初の音楽学校と評価されている。大公妃が薨去した後は、帝国政府に売却された。ロシア皇帝アレクサンドル3世は、かねてより新たな美術館建設の構想を持っていたが、1894年に崩御し、皇太子ニコライ・アレクサンドロヴィチ大公が即位しニコライ2世となった。1895年4月13日ニコライ2世は、ミハイロフスキー宮殿をして新たなロシア造形芸術美術館とし故先帝に奉ずる勅令を発布した。ミハイロフスキー宮殿を美術館に改修したのは建築家のウラジーミル・スヴィニインである。1898年3月7日、ミハイロフスキー宮殿の改修が終了し、美術館として再出発した。