可天有不测风雨，人有旦夕祸福。就在侯方域去南京为香君求子、寻亲的时候，她经常担惊受怕的身份问题终于暴露了。
公公侯恂知道李香君是秦淮歌伎的真实身份后，当即命令李香君滚出翡翠楼，后经人讲情，才心不甘情不愿地让她住到离城十五里的侯氏柴草园——打鸡园。那里是一个前不着村，后不着店的荒凉村落。而此时得知李香君已身怀有孕，引起婆母和常氏夫人的同情，二人一再向侯恂求情，侯恂才勉强答应派一个小丫头去那里服侍。
侯方域回到归德（今商丘）后，即将李香君接回，住在翡翠楼上。因出身低贱，香君被赶到距城7公里的侯氏庄园（今李姬园）居住。李香君因被歧视，终日郁郁寡欢，日久成病，无奈患上肺痨而死，享年三十岁。
1699年孔尚任的《桃花扇》问世后，李香君遂闻名于世，“在秦淮八艳中，不论是样貌还是才气，李香君都排不到首位，但是她却高居秦淮八艳榜首。在街头随便找个市民问问秦淮八艳，大家可能说不全，但是李香君却是众人熟知的。”李香君之所以如此声名远播，主要还是她对爱情的忠贞以及高尚的爱国情操。
林语堂《为香君题诗》：“香君一个娘子，血染桃花扇子，气义照耀千古，羞杀须眉汉子。香君一个娘子，性格是个蛮子，悬在斋中壁上，教我知所管制。如今天下男子，谁复是个蛮子，大家朝秦暮楚，成个什么样子。当今这个天下，都是骗子贩子，我思古代美人，不至出甚乱子。”
余怀《板桥杂记》：“李香身躯短小，肤理玉色，慧俊始转，调笑无双，人名之为香扇坠。”同书又记述：“香年十三，亦侠而慧。”
虽然，李香君的轶事典故很多，但在那样一个动荡的年代，女性地位本就不高，她又是歌姬身份，结局也不是很好。只不过，民间叹其气节高尚，故而给予了她美好的祝愿，以一把“扇子”长留后人心间，这应该是一份最大的“纪念”。
