好不容易熬到太子李亨继位成肃宗，他又为奸相李辅国所不容，加上十几年没见，肃宗皇帝早已和自己离心离德，最终自己不得不主动躲居更加遥远的衡山。
几年后，肃宗也驾崩了，代宗感念自己当年庇护他免受李辅国加害，征调自己为翰林学士，但当时的奸相元载又嫉贤妒能，表面上到处夸自己博学有才，实际上却以江西有乱、民风不治为由，将自己调去了更加远离皇城的江西。即使是元载死后，继任的常衮也害怕自己，直接请旨把自己调去了杭州。
想到这里，李泌自己也哑然失笑，如今自己已经六十多岁了，之前的这几十年，被排挤的一次比一次远离朝堂，哪怕代宗驾崩，德宗坚持召自己回朝，依旧被人排挤不得重用，只能以修道不问政事为由，勉强留在长安。而卢杞为相以后，自己不得不主动避其锋芒，躲去衡山，继续修道。
亏得自己一直自负才华盖世，却在出师后的将近五十年里从未得到重用，哪怕自己有着经天纬地之才，哪怕皇帝知道自己确实有才能而且已经做出了政绩！
自己已是身历玄宗、肃宗、代宗、德宗几朝的元老，说起来每一代皇帝似乎都很欣赏自己、重视自己，但却始终游离于权力核心之外。