北魏太平真君八年（447），分置天水郡和汉阳郡，以原冀县地置当亭县，属天水郡。北周孝闵元年（557），置秦州总管府，改当亭为冀城县。
隋大业二年（606），废秦州总管府，置天水郡，废黄瓜复冀城县，属天水郡。
唐武德三年（620），改冀城县为伏羌县。是年，以伏羌及渭州永宁置伏州，八年（625），废伏州，县仍属秦州。九年（626），析置盐泉县，治今西二十里铺（古称盐泉铺）。太宗贞观元年（627），设陇右道秦州天水郡中督府，更名夷宾、夷寅，三年（629），又并入伏羌县。肃宗宝应元年（762），吐蕃乘安史之乱，尽取陇右地，伏羌同时被占。宣宗大中三年（849）收复，仍为伏羌县，属秦州天水郡中督都府。四年（850），改秦州隶凤翔军，辖伏羌。
宋初，废伏羌县。太祖建隆三年（962），以废县以南地置大潭县，属秦州。北宋徽宗崇宁三年（1104）以废伏羌以西地永宁寨置永宁县，治今四十里铺。金仍废为永宁寨。建隆三年因吐蕃尚波于进略伏羌，乃以旧城置伏羌寨。天禧三年（1019）置安远寨（今安远镇政府驻地），属秦州，并于熙宁元年（1068）在安远寨以北40里杨家城子地，由秦凤路副都总管杨文广筑筚篥城，阻止西夏入境，称大甘谷口砦（甘谷城）。熙宁三年（1070）改伏羌寨为伏羌城，仍属秦州，领得胜、榆林、大像、芳园、探长、新水、柽林、丙龙、石人、驼项、旧水11堡。熙宁七年（1074）属岷州，治今西和县西南。北宋崇宁三年（1104），废伏羌永宁寨，置永宁县，治今四十里铺。金仍置永宁寨。南宋绍兴后伏羌、甘谷两城均陷于金。高宗绍兴二十六年（金正隆元年，1156），甘谷城升为甘谷县，属秦凤路秦州。金贞祐四年（1216），隶西宁州。元废，入通渭县（1950年秋，其地随安远镇划入今甘谷县）。
元世祖至元十三年（1276），以伏羌城复为伏羌县，属陇西行中书省兴远路巩昌总帅府录事司。
明仍为伏羌县，属陕西省承宣布政司巩昌府。
清初仍沿明制。康熙三年（1664），分陕西省为左右布政司，左布政司驻巩昌府。六年（1667），又改陕西右布政司为巩昌布政司。七年（1668），改甘肃布政司，移治兰州。清并设巩秦道辖巩昌府，驻秦州。伏羌县直属巩昌府。
民国二年（1913），废秦州，改巩秦阶道为陇南道。旋改渭川道辖伏羌等十四县，民国十六年（1927），改渭川道为渭川区行政公署，伏羌县属渭川区。民国十八年（1929）1月1日，国民党内政部改伏羌县为甘谷县。民国二十四年（1935），天水设甘肃第四区行政督察专员公署，辖甘谷县。
中华人民共和国成立后，于1950年5月设天水专区，辖甘谷等县。1958年底撤销甘谷与漳县，并入武山县；1962年元月，甘、武、漳分县，恢复原甘谷县治。1985年7月8日，撤销天水地区，改为地级市，实行市领导县体制，辖2区及甘谷等5县。
