“你的意思是，朝廷不好处置的事，对于柳国公来说，轻而易举？”
吕文显马上惶恐道：“臣不是这个意思。臣的意思是，柳国公或许有其他办法”
“什么办法？你是说他可以绕过朝廷，私下动兵？”
吕文显立即下跪谢罪：“臣不敢！臣失言！柳国公尽忠奉国，想来也不会如此。”
天子不语。
吕文显伏地不敢抬头。
“才明，你做舍人多久了？”天子突然问道。
“回陛下，臣永明元年三月五日做舍人，五年转建康令，六年又回舍人省，前后加在一起，一共六年五个月零十七天。”
“嗯，不短了你很干练，朕用你用得也舒心，但不能再用了，你去淮南做太守吧。”
吕文显愕然，这和他预想得完全不一样！
“陛下！不要赶臣走！臣知罪！臣知罪！”
吕文显咚咚咚叩头，恨不得立即磕出血来。
“心胸这个东西，做大事的人才有用，你是吏才，心胸窄一些本没关系。但中书通事舍人这个位置，居于要密，交通内外，若心有叵测，挑拨煽惑，离间君臣，构隙肱骨，此成国家之祸！所以朕不能留你了。”
“臣惶恐！臣不敢如此啊陛下！臣只是想为陛下分忧，寻思国库正紧，四方多事，柳国公若是能自己解决这件事，便不需劳动朝廷，臣只是想为朝廷省些花费啊！”
吕文显涕泪横飞，语速极快，极力要抓住那从自己掌心中正飞速流逝的权力和圣眷。
天子叹了口气：“才明，朕让你去做淮南太守，也有保全你的意思，你若还是不说实话，那未免辜负了朕的苦心。”
吕文显身子一颤，不敢再叫冤：
“臣糊涂！臣有罪！柳国公素轻臣，还将臣侄拒之门外，臣一时嫉恨蒙了心，这才求陛下看下臣多年侍奉的份上，不要赶臣走！臣舍得不陛下！臣愿做中书省的一名书吏！只求能留在皇城中，偶尔远远地瞧一眼陛下，则余愿足矣！”
吕文显泣不成声。
对于这之后的情形，史书是这么记载的：“文显流涕不肯去，上亦哀之，诏赐画像，出为淮南太守。”