隋炀帝闻而大悦，遂遣使持节，召来护儿还兵。
来护儿闻旨，大集众将言道：我军三出，未能平贼，此时若还，不可复来。劳而无功，吾窃耻之。今高丽实困，若以此众击之，不日可灭其国。我欲进兵径围平壤，生擒高元，献捷而归，不亦善乎！
众将皆都哄然称是。来护儿于是答表请行，不肯奉班师诏命。
长史崔君肃固争不可，来护儿言道：贼势破矣，独以相任，自足办之。我今在阃外，事当专决，宁得高元还而获谴。舍此成功，所不能矣！
崔君肃复告众将：陛下脾性，何人不知！若从元帅违拒诏书，某必当闻奏，诸公则非但无功，皆应获斩罪也。
诸将闻言而惧，俱至中军，请元帅还兵。来护儿无奈，仰天长叹，只得奉诏班师。
八月己巳，隋炀帝自怀远镇班师。有邯郸贼帅杨公卿闻知，率其党徒八千人抄袭车驾后卫第八队，得飞黄上厩良马四十二匹而去。
冬十月丁卯，天子驾至东都；十二日后，还至西京。
于是告祭太庙，命斩高丽使者及斛斯政，以为牺牲；并将斛斯政肉煮熟，飨以百官，有奸佞媚上之徒，竟食至饱。分肉之后，将斛斯政挫骨扬灰。
祭罢太庙，炀帝复下诏旨，征召高丽王元入朝，高元竟抗旨不至。炀帝此时方悟来护儿之奏，不由大悔，复敕命将帅严装，更图后举，只因天下大乱，竟不果行。
高元虽然抗旨不朝，但隋帝以为高丽既服，亦算大胜。乃命于西京南郊举行祭祀，但炀帝未曾斋戒。于是正行祭礼之时，天上刮起大风，百官不能张目。
数日之后，告变奏疏至京：离石郡胡人刘苗王造反，自称天子，众至数万；又有汲郡贼帅王德仁拥众数万，据守林虑山为盗。
炀帝闻报大怒，将欲亲自巡视东都洛阳，以便调动天下诸郡军马讨贼。太史令庾质以天相有变苦谏，皇帝大怒，诏命将其下狱缢死。于是驾至东都，宣布大赦天下。
时有东海贼帅彭孝才，引众转掠沂水，被彭城留守