许圉师明知此必是有人借题发挥，一时忍耐不住怒气，遂答奏道：臣备位枢轴，以直道奉事陛下，不能悉允众心，故为人所攻讦，诬以作威作福恶名。至于作威作福者，或手握强兵，或身居重镇；臣以文吏，奉事圣明，惟知闭门自守，何敢妄作威福！
天子起始之时面色尚见温和，闻其言辞激烈，大有怨望之意，遂不由怒气塞胸，问道：则若是卿手握重兵，则可作威作福邪！
许敬宗看见，暗暗喜欢，遂上前就天子怒火之上，再添一把干柴：许圉师作为人臣，对天子质询如此不敬，罪不容诛。
高宗遂遽令将许圉师引出殿外，诏特免官为民。
许敬宗好不容易捉住政敌马脚，岂有不痛打落水狗之理？当年十一月，复唆使党羽交相弹劾，终将许圉师下狱，必欲置其于死地。
唐高宗毕竟是为一代明君，始终不肯吐口，下笔勾决。
次年三月，将许圉师贬官为虔州（今江西赣州）刺史，后贬为相州刺史（今河南临漳）。刑部尚书杨德裔因徇私庇护许自然，亦被流放庭州。
许圉师在相州为刺史之时，政存宽惠，甚得吏民拥戴。
尝有部下官吏犯赃事露，许圉师不令推究，但赐《清白诗》以激之。犯者读其诗后自生愧惧，遂虚心改节，更为廉士，其待下宽厚如此。
许圉师离开相州之后，当地百姓立碑纪念之。上元中再迁户部尚书，仪凤四年卒，诏赠幽州都督，陪葬恭陵，谥曰“简”，并陪葬乾陵。
许圉师所生四子，长名许自然、次名许自牧、三曰许自遂、四谓许自正，皆在朝中为官。惟有孙女许氏，配与诗圣李白为妻，且为李白生下一对儿女，为后世留下一段文坛佳话。
许圉师罢相当年，十二月戊申，众臣建议天子封禅泰山。
高宗下诏，以连年征讨高丽、百济，辽东战事方休，河北之民劳于征役为由，其封禅泰山、巡幸东都之举一并停止。
此后未久，龟兹国遗部复生变乱。帝命海道总管苏海政带兵出击，并令西突厥兴昔亡可汗与继往绝可汗发兵帮助。
苏海政乃是唐朝第二任安西都护，亦是沙场宿将，战功赫赫。
当时引兵前往龟兹，