宋培伦大为震撼，他陷入了沉思，他想：为什么我不能效仿印第安人去实现自己的梦想呢？说干就干，他在花溪河两岸承包了300亩土地，开始了自己的毕生工程。
他雇佣当地的村民为工人，用最原始的建筑方法来修建城堡。村民们没文化，但态度相当认真，他们力求打磨平整，建得四平八稳。但是宋培伦却要求大家“想怎么弄就怎么弄。”村民们无法理解宋培伦的想法，于是叫他“鬼老板”。
宋培伦心中的夜郎古国城堡为什么是用石头建造的呢？贵州是喀斯特地貌，因此石头多。安顺、贵阳一带的布依族就有用石头建造民居的传统，在石头寨、镇山村、高荡村等布依族村寨，一砖一瓦都是石头打造。后来迁居贵州的明朝军人，也仿照布依族的建筑风格建造了大量的石头城堡，现在称为——屯堡。或许，宋培伦认为布依族的建筑和夜郎国应该是一脉相承的。
整村整寨不见一砖一瓦，房屋四周用石块砌墙，房顶以片石为瓦， 室内间隔也以石砌成，院落的墙垣、寨中的通道、村前的小桥、梯田的保坎也都用石头修筑，家中的用具，如碓、磨、钵、槽、缸，全是用石做成。到了这里仿佛进入“石头王国”
那为什么城堡中的人像都像带着鬼脸面具呢？这是贵州傩文化的体现。宋培伦曾说：“我对家乡古老的傩文化、生命文化非常喜欢”。傩文化，又称鬼戏，是上古时代一种祭神跳鬼、驱瘟避疫的文化，和巫文化紧密联系。傩文化曾经长期分布在大江南北，但是如今只有个别地区存在。贵州的铜仁、毕节一带还保留了有傩文化遗存，如威宁彝族的《撮泰基》已经被纳入国家首批非物质文化遗产名录。
总之，夜郎谷中的艺术气息和贵州的民族文化是紧密相连的。宋培伦在夜郎谷隐居，一干就是20年。期间有不少的商家找他，要求打造为景区、山庄等，但是宋培伦都将之拒绝了。宋培伦说：“我从没想过复制，更害怕外人没有感情，理解不了我的感受，违背初衷。我实在无法想象如儿女一样的夜郎谷会被弄成什么样子。”
然而，为了建设夜郎谷，宋培伦先生也背上了300万的巨债。
21世纪后，贵阳在花溪区建设大学城，宋培伦打造的夜郎谷也逐渐从荒郊野外成为了郊区。2009年，花溪大学城项目开工建设，不久，贵州财经大学就圈占了夜郎谷三分之二的土地。村民们都说他好有眼光，荒郊野岭顿时升了值，可宋培伦却说：“我就是没眼光，本想找个清静之地搞艺术，周边却来了几万人，还被野蛮占去近1/3”。
不仅如此，夜郎谷周边也开始出现了高楼大厦。如今，在夜郎谷中不敢抬头，生怕抬头就看到了周边突围的现代化高楼，显得格格不入。
2016年，宋培伦先生终于对世俗低了头。为了还清债务，他开始在夜郎谷收取20元的门票。而就在之前，英国某家媒体对夜郎谷进行了报告，使得夜郎谷的名声大振，于是游乐逐渐涉足这个从未来过的地方。很快，夜郎谷的年收入达到了700万。宋培伦先生偿还了所有的债务。
但是，宋培伦的内心又开始坐立不安了，因为收取门票本来就违背了自己的初衷，而他也不希望有那么多游客来到夜郎谷，打破这里的宁静。面对这一切，他又无法改变。于是在2019年，他决定将夜郎谷捐赠给贵州财经大学，他只要财大做好两点：
