幼承家传，少年神童。
1845年7月12日（清道光二十五年农历六月八日），王懿荣出生在山东福山县古现“太史第”高大房屋里。按族谱排名贻榘，祖父王兆琛则为其取名王懿荣。懿荣二字，取自《东京赋》：“东京之懿未罄，令彰于邦国，每钦忠懿”；《魏书·南安王桢传》：“懿范也”；陶渊明曰：“草荣识节和”“欣欣向荣也，先义而后利者荣，先利而后义者辱。”系王懿荣家族第十六世孙。由此可见，王懿荣祖父为其取的名字，既蕴含着深厚的中华文化底蕴，又寄予了深切的传承家学厚望。
1850年（清道光三十年），王懿荣5周岁，开始接受正规家教，在本族长房房舍“有棣堂”读书。王懿荣启蒙老师是其外叔祖谢斅之，后又拜母舅谢焕韶等人为师。谢氏也是当时福山望族，原籍安徽宣城，始祖谢魁一在登州千户所任小旗官，明洪武初，调防登州卫福山备御千户所，遂隶福山籍，以谢乃实、谢乃果兄弟一榜双进士，谢氏共考取进士6人。
王懿荣母亲是谢乃实玄孙女、谢牧之女儿。谢牧之，福山西关村人，官至虎门、澳门同知。王懿荣母亲知书达理，深明大义，对王懿荣家教十分严格，在王懿荣牙牙学语时就教王懿荣背《三字经》《百家姓》《唐诗三百首》，稍长又督促其学《千字文》《三千字文》《幼学琼林》《四书五经》等儒家经典书籍。王懿荣在母亲及老师的教育下，口若悬河，出口成章，吟诗作对，才思敏捷，据《福山县志稿》记载：“有过目不忘之誉，时誉神童。”
正当王懿荣学业有进之时，王家突遭变故，祖父王兆琛在山西巡抚任上，获罪遗戍新疆，家产被抄，家道从此中落。此时，王懿荣已记事，亲眼目睹了家庭的突变，世态炎凉，在其幼小心灵打下了深深烙印。据李宝嘉《南亭笔记》记载：“王廉生祭酒，官翰林二十年，喜金石书画，一贫如洗，典衣绝粮不顾也。书法雄健尽脱楷气。性耿介，好诙谐，动辄玩世，使酒骂座，同官均侧目，有‘东怪’之称。”王懿荣耿介怪癖的性格无不与童年的家庭遭遇有着密切关系。
1859年（清咸丰九年），王懿荣随母进京，与时任兵部主事的父亲团聚。这期间，王懿荣先后受业于表伯张恩煦先生。张恩煦当时在京读书应试，义不容辞担负起王懿荣的学业。其授王懿荣《朱柏格言》《增广贤文》等。
1860年（清咸丰十年），第二次鸦片战争爆发，王懿荣父亲王祖源奉旨回家乡登州办团练，王懿荣随之到济南，就读于济南泺源书院，深受当时遭贬的咸丰八大臣之一书院山长匡源赏识。王懿荣在泺源书院成绩优异，肄业回京。又拜礼部员外郎周悦让为师。周悦让经学造诣很深，被称为经学大师。师徒二人性情相投，又有同郡之谊。其对王懿荣学业、入仕、思想都产生重大影响。据《福山县志稿》记载：“懿荣幼承家学，不屑于章句、帖括。”对经史、义理、训诂、辞章、韵学，无不深入研究。
金石之学，备受推崇。
1862年（清同治元年）秋，王懿荣参加顺天乡试。其第一次参加乡试，以深厚的经学功底，极用心作好八股文试帖诗，答卷呈上后，很快引起考官注意。考官许其光，翰林院资深编修，阅读了王懿荣的卷子，以为是“奇文”，以顺天府乡试第一名推荐给主考官，结果未被主考官认同。
王懿荣第一次科考失败并没有伤心，而是把精力和兴趣都放在金石文字考据与收藏方面。与其往来密切的都是当时著名学者、金石名家，如陈介祺、赵之谦、潘祖荫、吴大澂、李佐贤、胡澍、缪荃孙、王瑾、张之洞、张佩纶、鲍康等，甚至与身居高位的李鸿藻、翁同龢亦交往颇深。其中，王懿荣与陈介祺往来最为密切。
1873年（清同治十二年），王懿荣28周岁，而陈介祺60周岁，都爱好金石文字，学术交流把他们相互吸引串在一起，二人的交往在当时的金石界堪称佳话。王懿荣与陈介祺是晚清时代具有独特贡献的两位金石学家。在王懿荣与陈介祺十二年交往的书函中，目前可考共有七八十余封，其中，谈论金石约有六十余封，千字以上的就有20余封，最多者洋洋三千字，实是一篇篇学术论文。他们讨论治学方法与途径，纵横古今，宏论博述，涉及面广，通过“博学、笃志、切问、近思”，探讨金石领域的义理和规律，即以“理”究源，衡以学术，坚决反对主观臆断和猜测的学术观点。
期间，王懿荣还与潘祖荫、吴大澂、李佐贤、胡义赞、赵之谦等多人讨论金石，撰写了许多金石研究方面的学术著作：《南北朝存石目》《汉石存目》《说郘钟》《说匽侯鼎》《说齐子中姜鎛》《说釿》等。
