嘉庆四年，绵亿袭封荣郡王。按照清朝规制，亲王爵位后代世袭，每代减一个等级。
绵亿和嘉庆皇帝感情很好，但在但在嘉庆十一年（1806年），绵亿为两子取名时用了金字偏旁，并且在宗人府修缮玉牒的时候被嘉庆皇帝知道了。
嘉庆皇帝震怒，斥责绵亿所为“自同疏远，是何居心？伊既以疏远自待，朕亦不以亲侄待伊，亲近差事，不便交伊管领。”。
嘉庆皇帝命绵亿退出乾清门并在外廷当差，也革除他领侍卫内大臣等职务。
及后，绵亿替两子更名为“纟”偏旁，奕绘、奕縯。
嘉庆十八年，发生了“癸酉之变”，绵亿力请嘉庆帝速还京师，以稳定人心。因为此事，嘉庆皇帝复宠绵亿，说道：“朕侄辈惟绵亿有骨肉情也”。
绵亿之后，奕绘继承爵位。奕绘和其侧福晋顾太清，有一段故事。
顾太清是清代著名女词人，本姓西林觉罗，名春，号太清。
我国学界泰斗周汝昌悼念金启孮（永琪七世孙）的文中，写了奕绘和顾太清的故事。以此可以佐证这段故事的真实性。
西林春是鄂尔泰曾孙女，鄂昌之孙女。鄂昌因“诗狱”获罪，家败人亡。其子鄂实峰被发往香山军营效力，住在“健锐营”附近，娶妻富察氏，二人生女西林春。
因是罪臣之后，西林春婚姻受阻，二十几岁仍然没有定亲。后，贫困无依的西林春进城投奔祖姑、荣王府的太夫人，也就是五阿哥永琪的嫡福晋——贝勒奕绘的奶奶。
奕绘爱上了西林春，想要纳为侧福晋。但清朝皇室有规定，不能纳罪家之女。于是奕绘让府中姓顾的护卫认西林春为女，西林春改为顾春，二人成婚。
在房山，有奕绘和西林春一同修建的别墅。别墅还没有修好，奕绘就去世了。
奕绘去世后，西林春与词人龚自珍经常讨论诗词，于是有人传流言西林春和龚自珍的绯闻。荣王府为维护名誉，（永琪被封为荣亲王”）不管传言真假，直接将西林春和她的孩子赶出了荣王府。
奕绘之后，荣王府的爵位由奕绘与嫡福晋妙华的长子载钧，承袭固山贝子爵位。贝子比贝勒又降了一级，始封亲王爵位的后代降爵降到镇国公就不再降了。
