韩安国担任御史大夫四年多,丞相田蚡死了,韩安国代理丞相的职务,给皇帝导引车驾时堕下车,跌跛了脚。汉武帝商量任命丞相,打算任用韩安国,派人去看望他,发现他脚跛得很厉害,于是改用平棘侯薛泽担任丞相。韩安国因病免职几个月,跛脚好了,汉武帝又任命韩安国担任中尉。
一年多后,调任卫尉,车骑将军卫青攻打匈奴,从上谷郡出塞,在龙城打败了匈奴。将军李广被匈奴所俘虏,又逃脱了,公孙敖伤亡了大量士兵;他们都该杀头,后来出钱赎罪成为庶人。第二年,匈奴大举入侵边境,杀了辽西太守,等到侵入雁门,杀死和掳去几千人,车骑将军卫青出兵追击,从雁门郡出塞。
韩安国担任材官将军,驻守渔阳。韩安国抓到俘虏,俘虏供说匈奴已经远远离去,韩安国立即上书皇帝说现在正是农耕时节,请求暂时停止屯军。停止屯军一个多月,匈奴又大举入侵上谷、渔阳。韩安国的军营中仅有七百多人,迎战匈奴无法取胜,又退回军营中,匈奴俘虏掠夺了一千多人和牲畜财物而离去。汉武帝听到这个消息后,大为恼火,派使者责备韩安国,并将韩安国调往更东面的方向,驻守右北平,因为当时匈奴的俘虏供称要侵入东方。
当初,担任御史大夫和护军将军,后来渐渐被排斥疏远,贬官降职。而新得宠的年轻将军卫青等又有军功,更加受到汉武帝的重用,韩安国既被疏远,很不得意。领兵驻防又被匈奴所欺侮,损失伤亡很多,内心觉得非尝羞愧,韩安国希望能够回到朝廷,却被调往更东面的方向驻守,心里非常失意,闷闷不乐。过了几个月,韩安国生病吐血,去世。