李世民下诏厚葬魏徵，但魏徵的妻子裴氏以魏徵生平生活简朴朴素，豪华的葬礼不是亡者之志为由拒绝。裴氏只有小车装载魏徵灵柩，李世民召文武百官出城相送，并亲自刻书碑文。
魏徵死后，李世民经常对身边的侍臣说：“用铜镜可以端正自己的衣冠，以古史作为镜子，可以知晓兴衰更替，以人作为镜子，可以看清得失。我经常用这样的方式防止自己犯错，但现在魏徵去世，我少了一面镜子。魏徵去世后朕派人到他家里，得到他的一页遗
表，才刚起草，字都难以辨识，只有前面几行，稍微可以辨认，上面写道：‘天下的事情，有善有恶，任用善人国家就安定，任用恶人国家就衰败，公卿大臣中，感情有爱有憎，自己憎的就只看见他的恶，自己爱的就只看见他的善。爱憎之间，应当审慎，如果爱而知道他的恶，憎而知道他的善，除去邪恶不犹豫，任用贤人不猜忌，国家就可以兴盛了。’遗表的大意就是这样，然而朕思考这事，自己恐怕不能避免魏徵所说的这些过错。公卿侍臣，可以把这些话写在手板上，知道朕有过错一定要进谏。”
同年二月，李世民命阎立本画二十四功臣像置入凌烟阁，魏徵位列第三。
不久之后，侯君集以谋反罪被处死，杜正伦被罢免，魏徵曾经向李世民推荐这两人，说他们有宰相之才，魏徵又拿自己前后的谏辞给史官褚遂良，李世民知道开始怀疑魏徵是不是侯君集一党的。于是手诏取消衡山公主(后来被封为新城公主)与魏徵长子魏叔玉的婚约。
贞观十九年(645年)，李世民亲征高句丽，战士死伤数千人，战马损失十分之七八，他深深悔恨这一举动，不禁慨然叹息说：“魏徵若在，不使我有是行也。“于是立命驰驿以少牢之礼祭祀魏徵，又重立纪念碑。
凌烟阁24功臣依次是
：1，赵国公——长孙无忌；2，河间郡王——李孝恭；3，莱国公——杜如晦；4，郑国公——魏徵；5，梁国公——房玄龄；6，申国公——高士廉7，鄂国公——尉迟敬德；8，卫国公——李靖；9，宋国公——萧瑀；10，褒国公——段志玄；11，夔国公——刘弘基；12，蒋国公——屈突通；13，勋国公——殷峤；14，谯国公——柴绍；15，邳国公——长孙顺德；16，郧国公——张亮；17，潞国公——侯君集；18，郯国公——张公谨；19，卢国公——程知节(程咬金)；20，永兴公——虞世南；21，渝国公——刘政会；22，莒国公——唐俭；23，英国公——李绩(徐懋功)；24，胡国公——秦叔宝
延伸阅读：魏征斩龙的故事
延伸阅读：魏征斩龙的故事
贞观年间，唐都长安连年旱灾，赤地千里，黎民百姓天天逐魃求雨，就是盼不到一星半点雨水。有一个叫鬼谷子仙师的人算定第二天午时三刻有雨，城内三点，城外七点。掌雨的金角老龙不信，与鬼谷子仙师打赌，他回府打开风雨薄查看，次日果真有雨，簿上写得清清楚楚：辰时布云，巳时行雷，午时下雨，未时雨停。雨点与鬼谷子仙师所说一点不差。于是私自篡改雨薄，把城内三点改为七点，城外七点改为三点。结果，城内普降暴雨，淹死许多黎民百姓，城外却只落三点，田地依然干旱，禾苗枯死，庄稼颗粒无收。有一个忠臣把这件事奏闻玉帝，玉帝大怒，降旨将金角老龙斩首示众。金角老龙情知不妙!极为恐俱，立即进宫乞求唐皇李世民保命，李世民念其是开国元勋，恩准免去死罪。第二天李世民设计请执行监斩的魏征丞相进宫下棋，行刑时刻已到，魏征无计脱身，末了，伏案酣睡，梦斩金角老龙。顷刻，血淋淋的龙头滚人皇宫。
关于唐相魏徵(魏玄成)梦中斩龙王的典故，无论民俗传奇、小说、戏剧表现的大概相同；随之就不得不提到与之相关的一个话题：门神成了秦叔宝、尉迟恭的原因。
古典名著《西游记》与传说中的魏征斩龙故事大致相同。贞观时期，泾河龙王化作一秀士与一卜卦者打赌，为了赢得此赌，在接受玉帝圣旨之后，故意把下雨的时机和雨点数改变了，结果却被发现。后龙王得卜卦者指点，必须不让“武曲星”魏徵斩龙。便求得李世民帮助。李世民与魏徵同下一盘棋，想稳住魏玄成，岂料魏徵打瞌睡，在梦中还是挥剑斩了龙王。后来鬼魂经常去找唐太宗哭冤。于是贴了秦叔宝和尉迟敬德的画像在宫门外，鬼魂就不去滋扰了。
