因为有这一门亲事，所以在她十三四岁的时候把她从庄子上接了回来。
她一回来就发现二小姐苏伊若和傅睿昀两人经常在一起，私下里眉来眼去的，明眼人一看就是有首尾的样子。
傅睿昀一听说她是从庄子里回来的，还是为了履行当初的婚约而来就反感至极，更是瞧不起她这个乡野丫头，厌恶的不行，所以在她回来不久就硬是逼着她退了亲，反过来和苏伊若定了亲。
就在她被退亲后，她在府里的境遇就更加艰难。
当初她娘逝去后外祖父和外祖母要把她接走，因为李瑾昕死的时候大半的嫁妆和陪嫁的铺子不见了踪影怀疑是她藏起来了。
他的父亲安义侯苏顺阳一家也不知道她娘把东西藏到了哪里，问奶娘，奶娘说不知道，她只负责照顾小姐。
他们怕女儿去了外祖家后连嫁妆也带走了，所以始终不乐意让接走。
他们想的苏伊凝也许是知道的，苏顺阳不死心就开始逼问苏伊凝，苏伊凝说她娘亲没有告诉过她也不知道，可是他就是不相信，发狠的一巴掌打在了苏伊凝的头上，她跌倒后头磕在了门柱上晕了过去，醒来他已经和奶娘、海棠到了百里外的庄子上了。
昏迷了三天三夜醒来好像忘记了什么，可是所有发生的事情都记得，也没有忘记什么呀，因为年龄小想不通也就不想了。
这边外祖家也不知道她不在侯府了，每次舅舅过来看就说苏伊凝不想见他们，久而久之外祖家也就歇了心思。
王氏呢在接回她来后时不时的在侯爷耳边说着苏伊凝的错处，耳边风吹的多了侯爷就对这个女儿越发的有了成见，好几次不是苏伊凝做的也冤到她的头上，再有姨娘王沐柔的刻意挑唆，苏伊凝连分辨的机会都没有，就会挨一顿毒打，常常是旧伤没好，新伤又来，侯爷对她更是越来越不耐烦，好像她不是他的女儿似的。
祖母呢见都不想见她，因为娘亲活着的时候她就很挑娘亲的理，对待她从来没有好脸色，家里又是王姨娘掌管，所以就把她扔到了这个破败的院子。
住到这里后