大河原町從繩文時代初期（約6000年前）開始就有人類居住。大約在 4 世紀或 5 世紀，兒島地區建造了一個鑰匙孔形的古墳（島館古墳），這表明該地區居住著一個強大的統治家族。 從平安時代的遺跡中屋敷前遺跡中，通過發掘確認了曾經建有瓦頂石建築，可見那是土地。 江戶時代，這裡成為奧州公路的驛站，作為稻米和紅花的生產中心而繁榮。另外，大河原是仙台藩的直轄地，縣令署和藩主的住宿設施禦刈屋都位於此處。 明治時代後，國家政府和縣政府的分支機構設在該鎮，並發展為政府機關鎮。