卓王孙得知女儿私奔之事，大怒道：“女儿极不成材，我不忍心伤害她，但也不分给她一文钱。”有的人劝说卓王孙，但他始终不肯听。过了好长一段时间，文君对相如说：“长卿，只要你同我一起去临邛，向兄弟们借贷也完全可以维持生活，何至于让自己困苦到这个样子！”相如就同文君来到临邛，把自己的车马全部卖掉，买下一家酒店，做卖酒生意。并且让文君站在垆前卖酒，而自己穿起犊鼻裤，与雇工们一起操作忙活，在闹市中洗涤酒器。
卓王孙听到女儿的事情之后，感到很耻辱，因此闭门不出，一些兄弟和长辈交相劝说卓王孙，说：“你有一个儿子两个女儿，家中所缺少的不是钱财。如今文君已经成了司马长卿的妻子，长卿本来也已厌倦了离家奔波的生涯，虽然贫穷，但他确实是个人才，完全可以依靠。况且他又是县令的贵客，为什么偏偏让他们受这样的委屈！”卓王孙不得已，只好分给文君家奴一百人，钱一百万，以及她出嫁时的衣服被褥和各种财物，文君就同相如回到成都，买了田地房屋，成为富有的人家。
司马相如所写《子虚赋》得到汉武帝赏识，又以《上林赋》被封为郎，打算纳茂陵女子为妾，冷淡卓文君，卓文君写诗《白头吟》给相如。曾经患难与共，情深意笃的日子此刻早已忘却，哪里还记得千里之外，还有一位日夜倍思丈夫的妻子，司马相如给妻子送出了一封十三字的信：“一二三四五六七八九十百千万”，聪明的卓文君读后，泪流满面，一行数字中唯独少了一个“亿”。无忆，岂不是夫君在暗示自己已没有以往过去的回忆了。她心凉如水，怀着十分悲痛的心情，回《怨郎诗》旁敲侧击诉衷肠，相传卓文君又附《诀别书》给相如。
司马相如看完妻子的信，不禁惊叹妻子之才华横溢，遥想昔日夫妻恩爱之情，羞愧万分，从此不再提遗妻纳妾之事，两人白首偕老，安居林泉。