到了元朝统治的末期，行省制度几乎崩溃。因此，在元朝末期，元朝在山东地区设立了山东行省。1368年，朱元璋建立了明朝以后，根据明朝的实际情况，在元朝行省的框架基础上，进一步调整了各地的区划。到了明朝第三位皇帝朱棣在位时期，明朝完成了迁都，形成了13个省与南北直隶的区划。我国很多省份的区划，都是在明朝统治时期基本形成的。
例如山东省、河南省、山西省，与现在的区划相比，差异并不大。当时，山东省内，设立了一系列的州府，例如济南府、胶州府、东昌府等等。济宁府下辖了巨野县、郓城县、肥城县、金乡县、丰县等7个县，管辖范围并不算小。17世纪中期，清朝确立了自己的统治以后，在明朝的行省区划基础上，进一步调整的区划。
在山东省，济宁府调整为济宁州，下辖的部分县，划入了兖州府管理。在清朝统治的后期，山东省先后遭遇了旱灾、黄河改道等各种自然灾害，很多山东人，开始了著名的闯关东。1912年，清朝灭亡以后，我国进入了军阀混战的阶段。山东省地理位置非常重要，各路军阀反复争夺。山东各地遭到了很大的破坏，急需进入休养生息。
一转眼到了建国初期，随着局势的稳定，我国进入了战后重建、恢复生产、发展建设的阶段。与此同时，一系列重要项目在山东开工建设。山东省内，划分了各个专区，例如临沂专区、菏泽专区、惠民专区等等。起初，济宁市下辖的各个县，部分隶属于滕县专区，部分隶属于湖西专区。1953年，湖西专区从平原省划入山东省以后，被撤销。
湖西专区与滕县专区合并以后，改称为济宁专区。当时，济宁专区下辖了济宁县级市、济宁县、凫山县、金乡县、梁山县、滕县、薛城县、汶上县、嘉祥县、滋阳县、峄县县、曲阜县、微山县、邹县、鱼台县等14个市县。1958年，济宁专区曾经与菏泽专区合并。但是，由于管辖的县太多，按照当时的交通、通讯条件难以管理。
仅仅1年以后，济宁专区重新设立，仍然下辖14个市县。60年代末期，全国所有的专区更名为地区以后，济宁专区更名为济宁地区。1979年，滕县从济宁地区，划入了枣庄市管理。再加上济宁地区的几个县被合并，此时，济宁地区下辖了10个县市，分别是：济宁市、济宁县、兖州县、曲阜县、泗水县、邹县、金乡县、嘉祥县、鱼台县、汶上县、微山县。
到了80年代初期，随着我国经济持续发展，为了适应时代需要，各省下辖的各个地区，陆续调整为地级市。1983年10月，济宁地区被撤销，设立了济宁地级市。济宁县级市和济宁县被撤销，设立了中区、郊区。再加上外围的兖州县、曲阜县、邹县、微山县、鱼台县、金乡县、嘉祥县，总计9个区县。当时，汶上县、泗水县，划入了泰安地区管理。
1985年，泰安地区的汶上县、泗水县，重新划入了济宁市管理。1989年，菏泽地区的梁山县，又一次划入了济宁市管理。此时，济宁市下辖了2个区、10个县，总计12个区县。90年代，济宁市下辖的邹县、兖州县被撤销，设立了邹城县级市、兖州县级市。此时，济宁市下辖了2个区、3个县级市、7个县。1993年，济宁市的郊区，更名为任城区。
随着济宁市的持续发展，人口进一步增加，城区面积进一步扩大。2013年，济宁市中区被撤销，划入了任城区。同时，兖州市被撤销，设立了兖州区。此时，济宁市形成了2个区、2个县级市、7个县的区划，分别是：任城区、兖州区、微山县、鱼台县、金乡县、嘉祥县、汶上县、泗水县、梁山县、曲阜市、邹城市等等。
