吕布正妻严氏，还有一妻，姓名没有记载于史书，有人认为可能是魏续的姐妹魏氏，妾不一定是貂蝉，但很可能是原董卓的爱妾。
《三国演义》的说法是，在吕布到了徐州之后，又娶了曹豹的女儿为次妻。
当时，刘备去抵抗淮南袁术，留张飞与曹豹守下邳。张飞与曹豹一起喝酒，曹豹不喝，张飞就要用鞭打他。
曹豹说：“看在我女婿的份上，就饶过他。”
张飞问：”你女婿是谁？“曹豹说是吕布。张飞一听更怒，不提你女婿还好说，你拿吕布来压我，正好找打，就鞭打曹豹五十鞭。
曹豹气不过，就找吕布过来，趁着张飞大醉，就击败了张飞，俘获了刘备妻小。
这是演义的说法，就像演义描写的貂蝉的故事一样，没有史料佐证。但吕布喜欢女人不会有假，二妻一妾并不算太多。
建安元年（196年），袁术想称帝，就联合吕布，希望他能为自己所用，就向吕布提出让他的儿子娶吕布的女儿为妻，吕布同意了。
袁术派遣韩胤为使节，向吕布正式转达他要更换年号、登基称帝的事情。同时请求接吕布的女儿过来完婚。
沛相陈珪担心袁术与吕布成了亲家，徐州、扬州就连为一体，将会危及国家。于是前往游说吕布，说：“曹公奉迎天子，辅佐朝政，征讨八方，您应该与他合作，以取得天下安宁；如果您与袁术成了亲家，将会担上不义之人的罪名，那样对您就不利啦。”
吕布想起当初他被李傕、郭祀击败，投奔袁术，但遭到了拒绝，吕布心里怨恨。当时，吕布的女儿已经跟随韩胤走了，但吕布还是把她追了回来，拒绝了这门亲事，并将使者韩胤戴上枷锁、镣铐，送往许都，在街市上斩首示众。
陈珪想派遣其子陈登到许都，说明吕布愿意与曹操合作，但吕布并不同意。
正巧曹操的使者到来，传献帝旨意，任命吕布为左将军。吕布大喜，就派遣陈登到许都，带着书信，向献帝谢恩。
陈登到达许都后，却说吕布是反复无常的人，献计曹操攻打吕布。
建安三年（198年），吕布再次与袁术联盟。曹操亲自带兵抵达下邳城下，曹操给吕布送了一封信，陈述祸福，吕布想投降。
但是陈宫等人由于得罪了曹操，就极力反对，而且说：“曹公远道而来，必不能长久。只要坚守城门，不用一月，曹操粮草用尽，我们出击就会击败曹操。”
吕布同意了他的看法，但吕布的妻子却说：“从前曹氏对待陈公台（陈宫，字公台）就像对待婴儿一样，无微不至，陈宫仍然丢下曹操投奔我们。现在将军对待公台的好处并没有超过曹氏，却听从他的建议对抗曹操，您是准备打算丢下全城和妻子儿女孤军远征吗？一旦发生变故，我难道还能成为将军的妻子吗？“
这说到了吕布心痛之处，于是就作罢。但还是暗中派人去求援袁术，自己带领一千骑兵出城，但被曹操打败，退回城里，再也不敢出来。
曹操围困下邳三个月，决水淹城。吕布部下侯成、宋宪、魏续反叛，绑了陈宫投降。吕布在白门楼看见曹军攻城，于是令左右将他的首级交给曹操，左右不忍心，吕布便下城投降。
吕布被绑到了曹操面前，对曹操说：“我对手下可是够厚道了，但他们还是临时背叛了我。”
曹操说：“你背着你的妻子，与你几个部下的妻子私通，怎么能称得上厚道呢？”
吕布沉默不语。看来曹操说得没错，就吕布喜好女人的个性，这恐怕不会有假。
吕布请求曹操给他松绑，曹操笑着说：“捆绑老虎不得不紧哦。”
吕布又说：“曹公得到我，由我率领骑兵，曹公带领步兵，就可以统一天下啦。”
曹操颇为心动，但在一旁的刘备说：“明公您看见吕布是如何侍奉丁建阳和董太师的吗？”
吕布一听大骂道：“大耳儿刘备最不能信。”
最终，吕布被缢杀，陈宫、高顺拒不投降也被杀死，张辽则领兵投降了曹操。曹操下令将吕布、陈宫、高顺的首级送往许都，然后下葬。
从曹操斩杀吕布这个过程来看，曹操对吕布还是比较客气的。相比较当时曹操斩杀张超，灭张氏三族来看，吕布死后，曹操还安排为其下葬，就应该没有诛灭吕布家小及全族。
如果曹操斩杀了吕布全家或全族，史书应该有明确的交代。也就不会有一些演义的故事，比如曹操将貂蝉赐予关羽等。日本人曾将吕布的女儿称作吕玲绮，这不足信。
