而对赵国来说，撤军的过程也决谈不上容易。他们沿着进军的路线撤军，他们也将被饥饿所包围。经过比较，大家认为东路军进军路线被兵较少，城邑基本完整，农事活动没有被打断，秋收后应该有新粮供应军队；这条道路由于都是水路，行军的负担要轻不少；而且安平是赵武灵王的重臣公子成的封邑，他出钱出粮供应大军，赵王是会给予补偿的，应该不会被拒绝。遂决定山东的十万人走这条路回去。
山西的十万人则西行入代郡，在那里获得补给后，再经翻越灵丘的一处山口，就进入霍人。霍人已经属于太原了，有一部分太原士卒就来自霍人，其他人沿呼沱水河谷就能返回晋阳。这条路沿途都是赵国县城，可以获得一些补给。但要在山间河谷中跋涉千里，很可能躲不过寒冷的冬天了。
由于燕地破坏较大，燕下都已经无法直接调运战争赔款，燕王允诺，将在新年之后将承诺的钱帛运到邯郸。赵人和魏人离乡了近一年，早已身心俱疲，无心与燕王纠缠，一心想赶在冬天到来之前，返回家园。
山西的军队先行登山，前往代郡。乐乘为他们准备了十天的糇粮，约十万石。伤员暂时留在代郡养伤。乐乘还给他们安排了向导。在山地中行军，道路不熟，错过一个山口，可能就不知道走到哪里去了。
东路赵军的撤退比较顺利。燕国的商人再次提供了船只，费用由燕王在赔款中扣除。山东赵军将辎重、伤员全都装上船，步兵则沿河流两岸轻装前进，行程果然加快不少。从燕下都到高阳，高阳到安平，安平到巨鹿都在二百里左右，大致是四天的行军路程。获得一次补给维持四天还是可以接受的。所有部队顺利地回到了家中。不用说，几家欢喜几家愁。
相比起东路军的顺利撤退，西路军就坎坷了。他们刚刚翻过灵丘的山口，进入霍人，就得到太原被秦军进攻的消息。这下，这支部队慌了神。除了霍人的士卒能够