这年冬天，匈奴再次入侵汉朝边境，抢掠边民钱物。渔阳受害尤其严重。朝廷派将军韩安国驻守渔阳，以防备匈奴再次入侵。第二年，匈奴单于率两万骑兵，入侵汉朝边境，杀了辽西太守，并掳走两千余人。
当车骑将军卫青率兵前来救援时，匈奴已从雁门郡逃走了。将军韩安国驻守渔阳，他抓到匈奴的一个俘虏，俘虏交待匈奴的大部队已退回本土了。
韩安国得到这个消息，立即上书给皇帝说：现在正是农耕时节，匈奴已经逃回本土，请求暂且撤回来屯驻的军队，待春耕结束，再回来驻守也不迟。
屯驻的军队刚刚撤离一个月，匈奴又大举进攻上谷、渔阳。韩安国收集情报不够准确，撤回去了的军队没有回来，留守在军营中的将士只有七百人左右，无法与匈奴的骑兵作战，只好撤回军营等待援军。匈奴趁机掳走一千多人及牲畜离去。
汉武帝知道了这件事，大怒，派使者责备韩安国。把韩安国调离渔阳，屯军在右北平。从此韩安国走了下坡路，一些年轻的将领得到了新宠，受到了汉武帝的重用。而韩安国渐渐被排斥疏远了，还被贬了官。
当初韩安国得到的消息是匈奴撤回了大本营，才上书皇帝撤军回家春耕，没想到匈奴骑兵没有撤回大本营，而是去攻打雁门郡，得手后又来攻打渔阳。太守韩安国率军迎战匈奴，战败便撤回渔阳城里。匈奴骑兵把渔阳团团围住。正在生死存亡之际，燕王的救兵赶到，匈奴这才撤去，又掠走一千余人及牲畜。
朝廷再派卫青率三万骑兵，出兵雁门关，李息出兵代郡，同时攻打匈奴，杀死俘虏了数千匈奴。第二年，卫青又出兵云中郡，并攻占西边及陇西一带，在黄河以南大破匈奴所属的楼烦和白羊王，杀死和俘虏了匈奴数千人，得到牛羊百余万头。为大汉收复了黄河以南大片土地，修筑朔方城，重新整修秦朝修建的关塞，并以黄河为依托，加强了边疆防卫。这些都是卫青之功。
事情是这样的，元朔五年的春天，朝廷命令车骑将军卫青，率领骑兵三万，从高阙出兵。任命卫尉苏建为游击将军，左内史李沮为强弩将军，太仆公孙贺为骑将军，代国相国为轻车将军，这些将军，都隶属于车骑将军卫青，一同从朔方出兵。
汉武帝又任命大