“颠沛流离”这四个字的滋味，宋高宗赵构算是深切体会到了。
到了明州后，吕颐浩等一般大臣便仓促开始准备船只。而每只海船只能装载六十名诸班直的卫士，因此每名卫士所携的家口不能超过二人。
这下禁军卫士们可不干了，纷纷找到主管此事的大臣，要讨个说法。他们质问道：“我们都有父母、妻子，不知我要如何选择，该把谁带在身边，又该把谁弃之不顾？”
吕颐浩入朝觐见皇帝时，就被卫士首领张宝带着一百多人给拦住了，问他此番乘船出海的目的地是哪里，语气颇为不逊。
吕颐浩最怕的就是这个，上次苗刘兵变就是在因为黄潜善、汪伯彦没处理好这些问题，招致卫士们不满才搞出来的。这时候如果出现问题，搞不好就是一发不可收拾。
吕颐浩刚刚对卫士们训斥了两句，众人便要上前要杀吕颐浩。一旁的参知政事范宗尹见势不妙，赶紧说道：“此事一时半会哪里能说得清楚？”拉着吕颐浩的衣袖便跑进了殿门，赶紧关上门，将闹事的卫土们挡在门外。
宋高宗听闻，更是吓得够呛，马上下诏进行安抚，这才人心稍定，卫士们在殿外三呼万岁。
赵构最怕的就是士兵闹事，最恨的也是被士兵胁迫，指示吕颐浩秘密交代中军统制辛企宗及宰相府亲军将领作好准备，捕杀闹事的士兵。次日，御营使司参议官刘洪道、中军统制辛企宗和亲军将姚瑞率军进行抓捕。
头一天的闹事者们惊慌逃命，有的登屋、有的翻墙。大怒之下的赵构穿着一身戎装亲自参与抓捕，还放箭射杀了两人，下令将为首闹事的张宝等十七人于明州街市斩首，并直接撤销了诸班直这个禁军编制。
十天之后，十二月十五日，早，明州三江口。
大雨滂沱，寒风凛冽。
宋高宗身穿甲胄，冒着大雨，与臣僚们从东渡门出发，登上了停靠在三江口上等候已久的船队。
载着赵构和“南宋流亡政府”的官员们，沿着甬江，在风雨中坚决地朝着定海县的方向驶去。
船只数量不够，因此很大一部分官员被留在明州，让他们自行从陆路出发跟随。