却没有人知道，西海方面送还人质的船只，其实根本就没有所谓的第三艘。
之后的五年世事浮沉人事变迁，恍若明光流水一般匆匆即逝。
薛家虽对薛嘉有养育之恩，可却在薛嘉少时利用他欺辱他，他不下死手，只要搅得薛家妻妾翻脸家宅不宁。
他早在薛家埋了钉子，知道薛禄心胸狭窄睚眦必报，薛福贪杯好赌挥霍无度，他便派人刻意地引诱薛福出入暗门里的那些赌坊，让人做局，先由得薛福赢了几把，诱他进来，之后薛福越输越多，输得急红了眼，赌徒心态作祟，便在暗门里的那些地下钱庄借了钱去赌，结果最后资不抵债，自己补不上这个窟窿，又怕那些暗门子里的打手找他麻烦，于是私底下就把借钱的事告诉了薛夫人。薛福可是欠下了一笔不小的钱财，薛夫人骤然听闻此事极为震惊，只好翻出自己的一半陪嫁私下里堵上了这笔债。
没想到这件事被他私下里埋的人手捅到了柳姨娘那里，柳姨娘自以为拿住了薛夫人的把柄，直接把事情告到了薛仁那里。薛仁生平最好两样，一是好财，二是好色，骤然听闻此事后果然大怒，不仅大大地发作了薛福一通，而且迁怒于薛夫人，很是让她没脸。
薛夫人平日里就在私底下和柳氏斗得不可开交，只是柳氏也是个心里有成算的人，多年来一直小心谨慎没让薛夫人拿住把柄，再加上薛府这些年虽然时不时也会有新人进来，可柳氏却依旧长年宠爱不衰，更是让薛夫人早就暗恨在心。这件事爆发出来后，薛夫人更是恨极了柳氏，甚至拉拢了原本也是薛仁宠妾的郑氏，试图一起对付柳氏。只是还没等她们斗出个要紧的结果，薛福在被关了一段时间的禁闭后，耐不住性子故态重萌，又悄悄地跑去赌坊赌钱。薛福这次非但没有收敛，反倒是越赌越大，最后竟然把薛家的一大半家产都输了进去！
这当口又闹出了薛禄的事情来。原本薛仁是给嫡子薛禄在云城捐了个闲职的，薛禄屡考不中，薛仁本是想替他谋份前途，却没想到薛禄却得罪了主官，被主官找个了由头把他打发了，薛仁为他花的那一大笔钱都白白泼了出去。出了这事儿，薛仁本就又急又气，结果另一个儿子薛福却又莫名失踪了。薛仁左找右找找不到人，正急得上火的时候，却被追债的行人找到了府上，薛仁一听薛福输掉的数额，一气之下竟然气昏过去。
薛家出了这等事，薛仁自然是再也坐不住了，心里想了想，提着礼品就到了顾府上。虽说薛家嫁过去的儿子薛嘉“已死”，但是薛嘉“死”前又没有被休出顾府，仍旧算是顾家人，顾薛两家的姻亲关系也没有变，因此薛仁厚着脸皮求上门去哭穷，想和顾家这里打打秋风。没想到顾钟鸣丝毫也没念着薛嘉的面子，表面上和和气气，言辞间却毫不相让，最后一个铜板也没给薛老爷。不过在薛仁看来，薛嘉没“死”之前，顾家看在娶了他儿子的面儿上自然会给他留些情面，可如今人都不在了，据说还是因为顾二少特意出海去寻人才使两人遭此一难，顾家没有直接把他赶出去就算是好的了。薛仁以己度人，倒是觉得这事正常。
只是薛家的姻亲大多和薛家家境相同，顾家豪富，尚且不肯挪给钱财，更可况是别家？薛仁不用上门也知道结果，索性也不特特地上门去丢这个脸面。只是债主逼在头里，薛仁也没办法，只能折合变卖了薛夫人的嫁妆和薛家的大半家产来还债。本来薛仁许诺了柳氏，等到自己过身后要留给柳氏生的儿子一份不错的家产，可是出了这档子事，薛家的家产大大缩水，能分给柳氏儿子的更是可怜。柳氏心里大恨，每逢机会就在薛仁耳边吹风，挑拨薛仁和薛夫人之间所剩不多的夫妻感情。这样一来，薛仁更是厌恨了薛夫人，连带着也厌了跟在薛夫人身边的郑氏。
薛夫人和郑氏接连失宠，薛夫人的两个儿子更是麻烦不断，其中有一个至今失踪未归，而薛夫人最疼爱的小女儿薛月兰最后还在柳氏的挑唆之下，没按照薛夫人看好的人家许人，反倒是被薛仁许给了一家暴发户，求了一大笔聘礼来赎回薛仁之前卖掉的一些铺子地契。这些事情堆积起来，薛夫人更是恨不得直接弄死柳氏。
薛月兰出嫁后薛夫人很是消停了一段时间，就在柳氏心里得意洋洋地以为自己在多年来的斗争中终于占了上风的时候，却不知道怎么就在上香的途中被人迷倒，被薛老爷逮住了和人偷情，实实在在地给薛老爷戴了一顶绿帽子。这一下子把薛仁给气坏了，也不顾柳氏生了儿子，直接把柳氏卖出了府。
结果柳氏被卖了不到两个月，事情不知道又怎么被人捅了出来。柳氏之前的下人中竟然有人拿出了证据，证明是薛夫人买通了人手，找了个男人进寺里故意奸污了柳氏，以此来陷害柳氏。柳氏在薛家十多年，却只给薛仁生了一个儿子。那孩子当年才不过十岁，知道事情后愣生生地跪在了薛仁的书房里给薛仁磕了九个头，一句话都没说，但那意思是显而易见的。
薛仁之前已经对薛夫人有诸多不满，听闻真相后更是大为光火，恨不得把薛夫人给直接休掉。只是薛夫人毕竟是他发妻，还为薛家操持了二十几年，妾通买卖，说到底柳氏不过是个姨娘，就算薛夫人不能容人，找个不敬主母的由头亲自把人给