没能为罗家养大一个男孩，又要与那个极难伺候的婆婆相处，因此离开两江总督署回湖南时，曾纪琛恋恋不舍，泪流不止。曾纪芬回忆说：“姊之姑为罗忠节之妾，性颇悍厉，姊惮于行，临别悲恋不已。”
回到婆家一段时间后，曾纪琛实在受不了这个婆婆的有意折磨和丈夫的暴躁脾气，向哥哥纪泽表示，想再回娘家住上一段时间。
曾国藩此时写了一封著名的家书给纪泽，明确表示反对：
罗婿性情乖戾，与袁婿同为可虑，然此无可如何之事。不知平日在三女儿之前亦或暴戾不近人情否？尔当谆嘱三妹柔顺恭谨，不可有片语违忤。三纲之道，君为臣纲，父为子纲，夫为妻纲，是地维所赖以立，天柱所赖以尊。故《传》曰：君，天也；父，天也；夫，天也。《仪礼》记曰：君至尊也，父至尊也，夫至尊也。君虽不仁，臣不可以不忠；父虽不慈，子不可以不孝；夫虽不贤，妻不可不顺。吾家读书居官，世守礼义，尔当诰戒大妹三妹忍耐顺受。吾于诸女妆奁甚薄，然使女果贫困，吾亦必周济而覆育之。目下陈家微窘，袁家、罗家并不忧贫。尔谆劝诸妹，以能耐劳忍气为要。吾服官多年，亦常在耐劳忽气四字上做工夫也。
这封冷酷的信恰可证明曾国藩不是一个伪君子，他真诚地信仰他的人生哲学，并且全力践行。“君虽不仁，臣不可以不忠”，正是他与咸丰皇帝关系的写照。
曾纪琛只好在罗家苦熬度日，辛苦支撑。因为自己没再生儿子，所以她本着“妇道”，主动张罗给丈夫纳妾。后来罗允吉外出谋事，纪琛不愿跟随，只让小妾去陪侍。不久罗允吉死在外地，幸好这位小妾生了个遗腹子，让罗氏的血脉得以延续。
和自己的大姐和三妹比起来，曾国藩的二女儿曾纪耀的生活还不算特别苦。
曾纪耀的公公是曾国藩的另一位同乡兼好友，那就是曾国藩在京期间家书中经常提到的同事陈源兖。
陈源兖是曾国藩的至交，既是同乡，又同为戊戌科进士，同时入选翰林院庶吉士，性格又特别投合。所以他们两个人在京期间往来密切，“不啻一家骨肉”。陈源衮在道光二十三年曾经大病，曾国藩天天去看望，有时甚至通宵达旦守护在他的身旁。次年，陈妻病逝，曾国藩日日到陈家，“代为经理一切”。陈岱云的儿子陈松生那时刚满月，无人照管，曾国藩将这个孩子带回自己家，雇乳母喂养。
鉴于多种特殊的关系，陈源兖在道光二十七年主动向曾国藩提出联姻之事，曾国藩也欣然同意。
陈松生十岁的时候，父亲陈源兖在地方官任上抵抗太平军兵败自杀，他就成了父母双亡的孤儿。曾国藩对这个未来的女婿疼爱有加，从生活上、学业上都给予了多方关照。好在此子自幼聪明，学习刻苦，诗文都做得很不错。因此，在曾国藩的几个女婿中，算是比较有出息的一个。他在1862年与曾纪耀成婚之后，曾有几年专心攻读举业，不过没能成功。
陈松生算是一个有上进心的人，曾纪耀上面又无公婆，这两点强于她的三妹。但是陈家也有自己难念的经。第一个是穷。陈岱云是一个清官，没留下什么积蓄，陈松生没成长为一个花花公子，但是他的哥哥陈杏生却没能幸免。有一次陈松生借到手两万两白银，却被他哥哥私取后很快挥霍殆尽。有这样一个败家子，陈家生活相当艰难。
第二个是陈松生为人虽然不荒唐，但是性格偏执急躁，在家里说一不二，很难伺候。在《崇德老人自述年谱》中，妹妹曾纪芬这样描述二姐的婚后生活：
姊婿松生性颇偏执，不听姊数数归宁也。……仲姊之嫁后生涯，有非人所堪者，而委曲顺从，卒无怨色。姊婿性峻急，患咯血时，扶持调护，真能视于无形听于无声。
曾国藩的女儿个个贤惠，而曾纪耀又是她们当中最贤惠的一个。后来在父亲曾国藩病危时，她从自己的胳膊上割下一块肉来当药给父亲吃，据说孝女孝子的肉有奇效，当然事实上是丝毫无补，不过由此可见她的性格和观念。所以不论丈夫怎么挑剔发脾气，她从来都是打不还手、骂不还口，逆来顺受，百般服侍。
有此三点，纪耀的生活虽然强于大姐三妹，但也很难说幸福。后来曾纪泽出使英国，提携自己这位妹婿，让他做了自己的帮办，带着他们夫妇一起去了英国。纪耀领略了西洋世界的异样风光，生活也比从前优裕得多了，终于算过上了一段舒心日子。可惜因为身体素弱，到了英国之后的第三年就病逝了，终年三十九岁。
