不过到了明代初年，特别是洪武元年到十年，怀集县的行政隶属关系，变得复杂起来。洪武元年，作为贺州属县的怀集县也一起划给了平乐府！但到了洪武十年五月，明太祖也进行了一系列的行政区域重新划分，贺州降级为贺县，怀集县又从平乐府划出，改隶到梧州府！这中间有什么故事呢？有两个原因！
一，这还是得从怀集的地理位置上来说！
怀集县隶于广西而突出广东地界，三面皆广东地，洪武初贺州降级为贺县后，怀集县周边只有三个府一级的行政地：平乐府，梧州府，肇庆府。按当时环境看，贺州没了，成为贺县，这就与怀集县成平级了，都一起隶于平乐府，这正常！但是，平乐府城远啊，山水不路难行，有点什么事，发个公文什么的，那也是要几天才能到达！这不方便。如果改隶到广东的肇庆府吧，那也是和平乐一样的情况，远了不好办事！
离怀集县最近的梧州府，看看地图，这就有点尴尬了，梧州府和怀集县拉起直钱，是很近，但是，两个地方的在地面上是不相连接的，隔着个贺县啊，大了说，是隔了个平乐府啊！
二，当时时局原因来说，
洪武元年，明朝开国将领杨璟的大军到了岭南梧州府，怀集县的儒仕郭名拿着县令官印来梧州请求归附，他为什么不去平乐府，不去肇庆府请附呢？还是因为那两地远！就近来的梧州！他这一请附，代表着怀集县正式归于大明版图，当然，也是随着他当时的上级贺州一并划与平乐府辖！
可是，在怀集县请附后，直到洪武七年，怀集县都没有安排县令上任，等于这几年怀集县政务上属于无官方人员管理状态。于是，洪武八年，怀集县儒仕莫汉宽又跑到梧州，同样是以平乐府远不方便，请求梧州府管辖。正好，到了洪武九年十月，大明朝进行了新一轮行政区改革，贺州降为县，和怀集同级了。最终，贺县归了平乐，而怀集县却就由平乐府改归梧州府管。
这也等于说，怀集县成为了梧州府的管辖飞地了！这也是中国古代历史中很少出现的行政区飞地管辖的情况！这从明初一直沿袭到解放初都没有改变过！
1952年，怀集正式由广东管辖，怀集县广东历史再次开始
“八百多年隶广东”又是怎么回事呢？当然了，除去解放后到现在广东管辖的几十年，从怀集地在南朝时的刘宋元嘉十三年（公元436年）建县到元至正十五年（公元1278）年，这也够800多年了，为什么元代会把当时怀集县从广东地划到广西地呢？
元代，了解元历史的都知道，蒙古骑兵横扫天下，打到欧洲多瑙河边，这个元朝的疆域非常大，所以，行政区域上实行的是大区域管辖——行省制，就元代中国境内，也就十二个省一级的管理区域而已，除了京畿地区，吐蕃地区，也就还有十个行省。所以，出于管理原则，怀集县也就是重新就近找个大一级的行政区管辖，于是，与他地域连接的贺州也就成为他的上级！
这也是怀集县历史上“八百多年隶广东”的中断史。
南宋时怀集所在地，“八百多年隶广东”结束
“八百多年隶广东”的开始，则就简单多了，从秦始皇的“郡县制”度开始，随着人口的流动，时代的发展，各地渐渐开发，很多边，远，蛮，荒的地方也渐渐有了人气，自然而然就有新的建制要求，每个时代根据所在地的实际，也就有人的地方，随着人口渐多，建圩，建屯，建村，建乡，建县，等等也就顺理成章了！
怀集这个地方也是这个规律，建县之前，从秦到南朝，这个地方都十分偏僻，周边都是山，林之地，方圆数百里没有县的建制，他最后只是四会县治下的一个偏远乡而已。可能到刘宋朝时，这个叫银屯乡的地方发展相对是比较好的，也出于地域管理需要，所以在这里增改设一个县！于是，这里也就开始出现了县级区域！
