回籍山东，筹办团练。
1894年（清光绪二十年），中日甲午战争爆发。王懿荣看到国家内忧外患，而慈禧仍大操大办“万寿庆典”，即毅然上书《吁请暂停点景但行朝贺疏》。此疏一上，满朝为之变色。当时许多朝臣都为筹办庆典去讨好慈禧，想不到王懿荣却反其道而行之，与王懿荣交厚的友人都为其捏了一把汗。
1895年（清光绪二十一年），日本军队由朝鲜半岛打到辽东半岛，又由辽东半岛打到山东半岛。王懿荣看到战火蔓延到自己的家乡，心急如焚，愁虑彷徨，寝食俱废。其又给光绪皇帝上疏请求回籍兴办团练，以御倭寇。
光绪皇帝采纳了王懿荣的意见，任命其为山东团练大臣，命兵部“刊该关防，并请发给勘金”，着户部借支银2000两，以作筹备之需费用。
3月9日，王懿荣经过长途跋涉，在莱州府会见了山东巡抚李秉衡，至此才知道北洋水师已全军覆灭，威海已经失陷，北洋海军提督丁汝昌、北洋护军统领张文宣、陆军统领戴宗骞等，已全部殉国。王懿荣忍住悲痛，不顾沿途劳顿，立即与李秉衡商谈布防及巡视团练事宜。
3月22日，王懿荣一行来到了黄县。黄县团练总局董事候选知县山民、四品衔候补员外郎丁世常等人向其汇报了黄县团练组建、训练、巡查、值勤、筹款、开支等事项。王懿荣听了汇报，认为黄县是登州府办团练行动快、组建实、范围广的好县，“办团练认真扎实为全郡第一”。
3月25日，王懿荣在黄县检阅团练队伍操练之后，甚为满意。即起程赴府治蓬莱。次日，王懿荣视察了登州蓬莱阁炮台，表彰了日前提督夏辛酉亲自率守军向三艘日舰发炮轰击，使日“吉野舰受创，急回旋挂白旗后逃遁”的抗战事迹，亲笔题写了《郓城夏公印辛酉字庚堂德公碑》。
王懿荣巡视10县团练，也看到许多不尽人意之处，指出：登州原有团练，“因而不练，不如不团”，“无粮无饷”只是徒有虚名。因此，其建议“以城防勇例，济以资粮银，月二两钱，一旦寇王，率众登陴，以守为战”。为了使团练具备一定规模，其又提出每县至少须500人，不足以别县补之，再不足以招募莱青一带补之。“十县合有5000人编成10营之数”，使其分扎于10属之间，平时逐渐更替交换，使之各与乡团相互演习，联络一气，扩大声势，以壮其志。如倭寇沿海来袭，每使200人，合乡团共守一城，“以明指挥防御，盖不能战者亦不知守。其可以率3000人，和尾随大军之后”，为之接运粮草，或截击败寇之余，以之夺粮断道，其平时熟本地山川险要，或扼堤岸，或出偏师，以补大军所不足。
正当王懿荣指挥团练奋勇杀敌之时，朝廷却派李鸿章在日本马关，代表清政府在《马关条约》上签了字，把中华民族若干利益出卖给了日本军国主义。
王懿荣闻听，义愤填膺，日夜不能寐，仰天长叹写下绝句：岂有雄心辄请缨？念家山破自魂惊。归来整旅虾类散，五夜犹闻匣剑鸣。
5月17日，王懿荣接到朝廷上谕：“和议已定，勿庸招募，著即回京供职。钦此。”王懿荣此举，在当时贪腐成风的晚清官场上确实独树一帜，难能可贵。然而，轰轰烈烈的办团练之举，顷刻烟飞云散了。
保卫京城，以身殉国。
1900年（清光绪二十六年）5月，八国联军由天津向北京进犯。6月17日，朝廷上谕：着兵部侍郎李端遇、王懿荣为京师团练大臣，办理京师团练事宜。王懿荣接到圣旨，仰天长啸：“此天与我以死所也！”其明白为国殉难的时候到了。保卫京城责任十分重大，在这个时刻偏偏李端遇又患病了，重担就落在王懿荣一个人身上。王懿荣起五更爬半夜筹划团练事宜，轮流值日巡逻城际，严阵以待，随时迎击来犯之敌。
王懿荣身为京师团练大臣却没有军事指挥权，下属千余人，半是老弱残兵，而且缺乏武器，在敌人的洋枪、洋炮下形同虚设。王懿荣在极其艰难条件下，仍日夜操劳，“往往夜晚漏三下，未即就眠，心力交瘁，殆难言喻”。其操练兵马，准备抵抗八国联军，一旦兵败城破，决心赴难与京师共存亡。此时八国联军各国陆续增兵，已达到2万余人。
王懿荣在锡拉胡同11号住宅，第二个院落有一个小花园，花园中心栽有一棵高大的枫树，枫树下有一口深井，平素为安全起见，王懿荣叫家人在井口上放了一块大横石，并请石匠为井做了一个围栏。当八国联军占领大沽口炮台的消息传到北京，王懿荣预感到时局愈发严重了。其亲率仆人将井淘深，面对这口老井，意味深长地对家人说：“此吾之止水也。”这是告诉家人，一旦城破之日，这口井将是其最后的归宿。
