然而，这份巨大的荣耀背后，却潜伏着难以消除的阴影。狄青的迅速崛起和身居枢密使高位，逐渐引起了文官集团的不安与猜忌。在宋朝士大夫的意识形态中，祖宗家法始终强调“以文驭武”，防止武人擅权构成皇权威胁。狄青的行伍出身（“起自行伍”）和面涅（刺字）背景，更成为某些士大夫心底难以抹去的轻蔑和忧虑。文臣宰相庞籍虽曾力荐狄青统军平叛，但后来却坦言：“青出兵伍，为枢密使，自国初所无，顾四方轻心，将不肃矣。”这反映出文官中存在的普遍担忧：认为狄青身居高位会导致军队纪律松弛，削弱朝廷对军队的掌控。
这些猜忌很快转化为行动。一些地位崇高的文臣如翰林学士欧阳修等纷纷上书，指斥狄青担任枢密使的种种“危险”和“不妥”。欧阳修在着名的《论狄青札子》中直言不讳，指责狄青虽具忠诚且军事才能卓着，但他卑微的出身与崇高的地位形成反差。欧阳修担忧狄青“未甚更事”，缺乏高层政治经验，可能被人利用或滋生不臣之心。他还列举了一些带有暗示性的“异常”现象：“军士每见青出，辄指以相矜曰：‘此狄家爷爷！’”认为狄青在士卒中威望过高，已是“深可忧者”。他建议宋仁宗以“保全功臣”为名，免去狄青的枢密使职务，外放担任知州。
这些看似有理有据的奏章，配合着京师中流传的种种不利于狄青的谣言（如将水灾等天变异象牵强附会地归咎于狄青的显贵），构成了巨大的政治压力。宋仁宗最初虽然倚重并信任狄青，但也深知“祖宗家法”的力量和文官集团强大的舆论压力。在“疑忌”与“保全”的复杂心态下，嘉佑元年（1056年）八月，即位未久的宋英宗终于下诏，免去狄青枢密使之职，任命其为同中书门下平章事、判陈州（今河南淮阳）。这一看似升迁（加宰相衔）实为剥夺兵权的外放任命，标