韩安国担任御史大夫四年多，丞相田蚡死了，韩安国代理丞相的职务，给皇帝导引车驾时堕下车，跌跛了脚。汉武帝商量任命丞相，打算任用韩安国，派人去看望他，发现他脚跛得很厉害，于是改用平棘侯薛泽担任丞相。韩安国因病免职几个月，跛脚好了，汉武帝又任命韩安国担任中尉。
一年多后，调任卫尉，车骑将军卫青攻打匈奴，从上谷郡出塞，在龙城打败了匈奴。将军李广被匈奴所俘虏，又逃脱了，公孙敖伤亡了大量士兵；他们都该杀头，后来出钱赎罪成为庶人。第二年，匈奴大举入侵边境，杀了辽西太守，等到侵入雁门，杀死和掳去几千人，车骑将军卫青出兵追击，从雁门郡出塞。
韩安国担任材官将军，驻守渔阳。韩安国抓到俘虏，俘虏供说匈奴已经远远离去，韩安国立即上书皇帝说现在正是农耕时节，请求暂时停止屯军。停止屯军一个多月，匈奴又大举入侵上谷、渔阳。韩安国的军营中仅有七百多人，迎战匈奴无法取胜，又退回军营中，匈奴俘虏掠夺了一千多人和牲畜财物而离去。汉武帝听到这个消息后，大为恼火，派使者责备韩安国，并将韩安国调往更东面的方向，驻守右北平，因为当时匈奴的俘虏供称要侵入东方。
当初，担任御史大夫和护军将军，后来渐渐被排斥疏远，贬官降职。而新得宠的年轻将军卫青等又有军功，更加受到汉武帝的重用，韩安国既被疏远，很不得意。领兵驻防又被匈奴所欺侮，损失伤亡很多，内心觉得非尝羞愧，韩安国希望能够回到朝廷，却被调往更东面的方向驻守，心里非常失意，闷闷不乐。过了几个月，韩安国生病吐血，去世。