在我们生活的当下，绝大部分的军队都为国家而非某个个人或团体（如僭主/皇室）服务，但是在刚刚建立的明治政府手上，却只有萨长土肥的藩兵可供驱使。为了稳固来之不易的政权，明治政府开始尝试建立真正的“官军”。
1868年4月，在与各藩妥协后，明治政府制定《陆军编制法》，要求各藩按照石高向中央提供士兵，负责近畿守卫，这支军队被称为“征兵”，与各藩的藩兵并存。“征兵”虽然在名义上隶属于中央，但实际的兵权却为各强藩所控制。鉴于此，兵库县知事伊藤博文提出将征讨东北（奥羽越列藩）的官军整编为直属朝廷的常备军，得到明治政府的重视。此时的明治政府内，以军务官副知事大村益次郎和大久保利通为首，有两种建立中央军的设想。大村益次郎提出，从戊辰战争中直属于朝廷的游击队员中挑选部分人员组成临时部队，然后用五年的时间建立一支常备军。在大村的设想中，征兵的对象应该是农民，而非各藩的武士。大久保等人则反对征召农民，主张以西南强藩的藩兵为主建立常备军，一方面是因为大久保等人的武士出身，另一方面则是认为改编藩兵不会受到“公议舆论”——尊皇强藩的阻挠。官制改革后，军务官副知事大村益次郎成为兵部省大辅，开始主导建设政府军，设立了大阪兵学寮的陆军设施，为日本陆军的建设奠定了基础。好景不长，1869年9月，大村因为被视为废除武士特权的核心人物，在京都三條木屋町的一家旅馆遭到士族刺杀，身负重伤，不治身故。大村之死，导致政府军建设活动失去领导者，直到山县有朋的出现才迎来转机。
山县出身长州藩下级武士，年仅5岁便失去了母亲，在祖母的严格教育下长大。15岁元服后便在长州藩藩校，著名的明伦馆担任手子役，此后又历任代官所手子役、御徒目付家臣的横目役等职务，期间积极学习武艺，23岁时便因为擅长宝藏院流十文字枪术而闻名藩内。1858年7月，山县和另外5位青年前往京都了解时势，受到尊攘派的感化，回藩后便拜入吉田松阴门下，但是不久吉田松阴便被处死，其他门生也受到重罚，刚入塾的山县并没有被过多追究。后来，山县出任长洲藩奇兵队军监，在倒幕战争中立下功劳。1869年3月，山县在桂小五郎和西乡隆盛的许可下，前往法英比德奥俄诸国巡游，翌年经美国返程回国。归国后，由于友人前原兵部省大辅一成和桂小五郎冲突而辞职，山县拒绝了兵部省的邀请。此时的兵部省由于前兵部省大辅大村益次郎遇刺而陷入停滞，仅有极少的兵力以护卫皇居。虽然在明面上的兵部卿是有栖川宮熾仁親王，但是却被岩仓具视等文官节制。1870年8月28日，前田兵部大辅辞职，山县被任命为兵部少辅，成为实际上的兵部省次官。山县与大村类似，不拘泥于身份等级，主张向农民征兵。1870年10月，在山县的同意下，大阪兵学寮开始允许平民入学就读，开创了日本平民成为军官的先例。同年11月，新政府制定征兵制度，命令各府、藩、县挑选身体强壮的兵员，不限身份等级。然而，征兵令仅实行了这一次，征集了1500人便由于明治政府和各藩冲突加剧被迫中止。此时，明治政府正在尝试加强中央集权和去封建化，导致了农民的反抗，同时对明治政府感到不满的士族们也开始和农民联合，士族反对派的代表，便是戊辰战争的名将、维新三杰之一，著名的西乡隆盛。此时在西乡的领导下，萨摩藩正在进行军事改革，组建了一支超过4万人，由藩士和乡士组成的常备军。1870年7月27日，萨摩藩藩士横山安武在太政官正院门前留下针砭时弊的文书后自杀，使得西乡受到很大冲击，更加反对明治政府的政策。在危机之下，岩仓具视和大久保利通前往鹿儿岛劝诱西乡出仕，在西乡从道（隆盛之弟）的劝说下，西乡决定以萨摩藩军力为依仗，改革他认为“堕落”的明治政府。1871年2月，在双方的妥协下，政府决定从萨长土三藩征召藩兵，组建名为“御亲兵”的政府军队，在这1万人的军队中，萨摩藩提供了四个大队5千名士兵。
御亲兵虽然是作为国家军队而组建的，但是（尤其是萨摩藩士）却未能摆脱封建思想，折服于西乡的人格魅力。在某种程度上，这支军队实际效忠于西乡个人。对于明治政府而言，再差的中央军队也优于毫无军队，同时为了缓和中央与萨摩的关系，强化中央对地方的控制力，这支军队的存在是必要的。，再者，对于大久保利通等人而言，将平民吸收入神圣的军队一事有辱武士的荣誉，对于普遍的征兵制持有消极态度，反而对武士组成的御亲兵更有好感。凭借着这支军队，明治政府开始实行诸如“废藩置县”等积极的改革，西乡也得以参与到内阁改组之中，晋升正三位，成为制度取调会的议长。组建御亲兵的同时，明治政府为了镇压各地的农民、士族叛乱，还在地方设置镇台，也就是日本陆军师团的前身。1871年4月时仅有东山道和西海道两个镇台，废藩置县后增加到4个。除了镇压叛乱以外，镇台的设置还体现出明治政府对御亲兵的不信任。和御亲兵一样，镇台虽然也是中央直属的军队，但其兵员大部由各地藩兵组成，带有浓厚的封建色彩。御亲兵和镇台共同组成了此时日本的国军，但是和现代军队还有很远的距离。
