进入元代，于元世祖至元十八年（1281年），以河西走廊的甘、肃二州之首字相并取名为“甘肃”，正式设立“甘肃等处行中书省”（长官为平章政事），简称甘肃行省，治所在甘州路的甘州（今张掖）。主掌监察的河西陇北道肃政廉访司，亦设甘州。河西走廊设有甘州路、永昌路（原凉州）、肃州路、沙州路、亦集乃路（今内蒙古自治区额济纳旗）和兀刺海路。甘肃行政区划大致为省、路、府（州）、县四级制。在中国行政史上，元代首创的行省制度成为地方行政最高一级建制，沿用至今。
明初，沿用元朝的行省制。一直到了明太祖洪武九年（1376年），明廷认为行中书省的职权过大，为加强对地方的控制，防止出现割据局面，决定废除行省制。在原行省的基础上，设立承宣布政使司。此时，甘肃属陕西承宣布政使司管辖。在河西走廊设有甘州五卫：即甘州左卫（今张掖）、甘州右卫，甘州中卫、甘州前卫、甘州后卫；肃州卫（今酒泉）、山丹卫（今山丹）、永昌卫；凉州卫（今武威市）、镇番卫（今民勤县）、庄浪卫（今永登县南）、沙州卫（今敦煌、瓜州）；赤金蒙古卫（今玉门西北赤金堡）、罕东卫（今酒泉市西南）。另外，在河西走廊还设有古浪、高台两个守御千户所。
清代，地方行政建置基本为省、府（直隶州、直隶厅）、县（散州、散厅）三级制。清初河西走廊建置沿用明制。
直到雍正二年后，对河西走廊建置作了较大调整。
辛亥革命以后，废除了清代的府、州、厅制。民国初，实行省、道、县三级制。河西走廊为甘凉、安肃二道，但治所有变。甘凉道，治武威县，辖甘、凉二地。安肃道，治酒泉县，辖肃州、安西二地。
中华人民共和国成立初，河西走廊设立了三个专区，即武威专区、张掖专区和酒泉专区。1955年10月，撤销武威、酒泉二专区，合为张掖专区，治张掖。
1961年，重新恢复为三个专区。
1965年，从酒泉专区划出嘉峪关，设嘉峪关市（地级）；1970年，又将嘉峪关划入酒泉地区（1969年10月后称地区）。
1971年，再次将嘉峪关划出酒泉地区，连同嘉峪关地区指挥部、三九公司并为嘉峪关市（地级）。
1982年，从武威地区划出永昌县，成立金昌市（地级）。
