然而，好景不长。李清照和赵明诚生活在北宋末期，社会动荡不安。宣和七年(1125年)冬，金兵灭辽后，大举侵宋。建炎元年(1127年)，北宋灭亡，宋室南渡，在长江以南建立了南宋朝廷，赵明诚出任江守知府。两年后，赵明诚被罢官，夫妻两人乘船到洪州暂住。途经西楚霸王项羽自刎的乌江时，李清照写下了名篇《思项羽》：
生当作人杰，死亦为鬼雄。
至今思项羽，不肯过江东。
就在同一年，赵明诚再次出仕，任湖州知州。宋高宗赵构在建康(今南京)下诏召赵明诚前去领旨奏事。由于时间紧迫，不允许他们带着那么多的金石书画同时前去建康，只好决定赵明诚先到建康赴诏，然后再回来接李清照。
离别的日子是六月十三日，正是盛夏。李清照望着渐渐远去的明诚，不禁泪流满面，心如刀绞，一种不祥的预感像乌云一样笼罩着她。七月末，李清照得到明诚卧病不起的消息，当天就出发，日夜兼程赶到建康，与丈夫见了最后一面。
他们夫妇诀别的情景，李清照在《金石录后序》中有十分生动感人的描述：“八月十八日，遂不起。取笔作诗，绝笔而终......”从此，李清照开始独自承受国破、家败、夫亡的剧痛。与此同时，她也不得不加人到逃亡的人流中。
一年多的逃亡生活，使李清照尝遍战乱流离之苦。她在《清平乐》词中写道：“今年海角天涯，萧萧两鬓生华。”
但是，更大的打击还在后面。在她49岁那年，病倒在临安，终日高烧不退，常常处于昏迷状态。结果被时任右承奉郎的张汝舟乘虚而人，将李清照娶回家中。
张汝舟此人是个七品小官，善于溜须拍马。当时李清照已近五十，以张汝舟的人品为什么会看中李清照呢？关键在于李清照手上的珍品。
赵明诚死后，南宋小朝廷四处逃窜，李清照也开始了逃亡生活。她逃亡有两个很重要的原因，一是保存文物，二是洗刷赵明诚的冤屈。
李清照夫妇是宋代最伟大的文物收藏家，他们几十年节衣缩食所收集的文物有几间大屋子。赵明诚临死时什么话都没留下，就是交代李清照看管好这些文物。这是赵明诚最后的遗言，李清照拼死也要维护。
然而，对于一个弱质女子来说，要保护如此数量众多的文物岂是易事？金兵南下之时，李清照护送文物南下到江宁途中，一半文物没于战火。
金兵攻占南京前，李清照情急之下把剩下的大部分文物送往洪州的妹夫处保管。她妹夫任兵部侍郎，本来有能力保管这些文物，可是，金兵分兵两路南下，一路经过洪州，结果这部分文物焚于战火。
此时，李清照手中的文物已经损失大半，但是留下的都是精品。为了保护仅剩的这批文物，她做了一个大胆也是无奈的决定：把这些文物捐给朝廷。
南宋小朝廷当时虽然也在四处流亡，但毕竟有专门的部门管理文物，比起个人来说应该是个比较安全的归宿。另外，李清照还要通过献宝来洗冤明志。
赵明诚病重时，有人曾经拿一个玉如意请他们夫妻鉴定，后来此人把那个玉如意献给了金人，于是谣言四起，说赵明诚向金人进献了一个玉如意。这就是通敌卖国，在当时同仇敌忾的情况下，这个罪名非同小可。
为了表示清白，李清照决定把剩下的文物都进献给朝廷。她带着这些珍贵的文物，一路追随宋高宗逃亡的路线。这一追就追了五年，从陆路到水路，再从水路入山路，整个过程艰辛备至。
最后，她好不容易追上了，把大部分珍贵文物献了上去，哪知道又发生兵变，看管文物的李姓将军把这些文物席卷一空，逃得不知所终。
李清照真是欲哭无泪，不仅她和丈夫一生的心血丧失殆尽，而且她心爱的丈夫的唯一遗命也眼看没法实现了。内忧外患之下，李清照病倒了，住在弟弟家中。就在这个时候，能说会道的张汝舟出现了。
