金庸书里写的段正淳有他的风彩，就算是刀架在脖子上，也要舍命救美人，当然救美人之前还要摆个帅帅的POSE。
和他传过绯闻的女明星不在少数，嘉玲、萧芳芳、甄珍、缪賽人、狄波拉……他自己说自己是个忠于感情的男人："这一生我只深爱过四个女人，我对女友很专一的，所以嘉玲、萧芳芳、拉姑离开我之后，我们一样是好朋友。"
这话听起来有点搞笑，但他的解释是"只要和一个女人在一起，我心里面就只有她一个，结束了上一个我才会开始下一个。"
不过，纵观谢贤前五十年的恋爱史，倒还真是如此，就算是拉姑是因为他和她最好的朋友勾搭而提出离婚，他也嘴硬："那时还没开始，只是在酝酿阶段。"
女人和他分开，大半和他保持友好关系，因为他从不说女人坏话，这是旧式花花公子的格调，所谓风流而不下流，讲究的就是这礼数。
▲2007年9月，陈志云《志云饭局》对四哥的开场评语，就是这样的。
接受陈志云采访，他一一细数和他深爱过四个女人：
初恋情人嘉玲和他拍拖十年，最终舍他而去下嫁泰国富商，他说是我放她去的"是我不好，不肯结婚。"
▲初恋情人嘉玲是60年代红极一时的玉女明星，两人因多次合作而日久生情（据谢贤说当时电影公司就只有三名当家女星），恋情持续了长达10年之久，最终因谢贤太贪玩而分手。
第二任女友萧芳芳拍拖两年分手，原因是"芳芳太正派，我当时如此红，她居然教我去读书，我们合不来，是我衰。"
▲贪玩的谢贤与家教甚严的萧芳芳两人价值观相差太大，只相恋了一年多。
第一任妻子甄珍婚外恋，恋上音乐家刘家昌，"还是我衰，没有陪她，虽然我不上街，但会找朋友在家里玩SHOW HAND，她又不懂广东话……到现在我也觉得她跟刘家昌在一起是很好的，我不介意，没有怨恨。"
不过，甄珍与刘家昌也离婚了，且闹得形同水火，这个我们也写过。
果然，沈殿霞去世的时候，他笑嘻嘻地和刘家昌甄珍排排坐，真正的往事如浮云。
▲1973年，谢贤和甄珍合演《海鸥飞处》相识相恋，次年3月闪婚，后因刘家昌的介入而离婚。
第二任妻子狄波拉和他结婚十五年后终告离婚，"她心地好好，是好人……多年来，不少女子都在我精心布置下主动提出分手，拉姑也不例外。"
两个人在媒体的镁光灯下上演了婚姻真人秀：
最经典的段子是，狄波拉再嫁飞机师时签字时回头看着他："四哥，我嫁啦！"
他笑嘻嘻地答："快些签，不然人家改变主意了。"狄波拉结婚后三个人常常一起吃饭，这种三人组的度量，其中一个人少一点度量都不行。
