就在这一年，汉武帝派遣使者柏始昌、吕越等十余批，从这些新设的郡出发，直奔大夏。但汉武帝没有想到，派出去的使团到了昆明却被阻拦，使者被杀，钱物被抢，通往大夏的南路没有畅通。
汉武帝大怒，调用巴、蜀士兵几万人，派遣郭昌、卫广两位将军去攻打昆明，阻拦汉使者的部落。杀死和俘虏了几万人，以为可以平安无事了，当汉朝派使团再经过昆明，又被抢劫杀害。南路通往大夏的路，始终没有打开。
北路通过酒泉抵达大夏的路上，使者来往不断，外国人有了很多汉朝的布帛财物，对这些东西便不再感到贵重。博望侯得到的尊位和富贵，是因为开辟了通往外国的道路。以后跟随出使的官吏和士卒都争着上书，陈述外国的珍奇之物、怪异之事和利害之情，要求充当使者。
汉武帝认为外国非常遥远，并非人人乐意前往，就接受他们的出使要求，赐予符节，招募官吏和百姓而不问出身，为他们配备人员，派遣他们出使，以扩大沟通外国道路。
出使归来的人不能出现侵吞布帛财物的情况，以及背离天子旨意的事情。如果被发现了，就会追究他们的罪行，令其出钱赎罪，再次要求充任使者。出使的事端层出不穷，而他们也就轻易犯法。
有些官史士卒，常常夸大其词的赞美外国的某些东西，说大话的人就被授予符节当正使，不敢说大话的人，便被任命为副使。因此那些无德行的人，便效仿说大话的使者而胡说八道。
出使者多是穷人家的子弟，把官府送给西域各国的礼物占为己有，想用低价卖出去，在外囯获取私利。西域各国，越来越讨厌汉朝使者，说话都有不同程度不真实成分，估计汉朝大军离得远，不能到达，就断绝了汉朝使者的食物，使汉朝使者生活困苦，以至于互相攻击。
楼兰、姑师是小国，正处在交通枢纽，因而他们攻击汉朝使者王恢等尤其严重。匈奴的突击队也时刻阻拦攻击出使西域的汉朝使者，使者争着详谈外国的危害，虽然各国都有城镇，但是军队软弱，容易攻击，使者请求出兵西域。
汉武帝派遣从骠侯赵破奴，率领属国骑兵及各郡士兵几万人，派王恢辅佐赵破奴，开赴匈河水，攻打匈奴，匈