汉武帝知道了这个情况，就想与大月氏国结盟，共同对付匈奴。汉武帝招募能够出使大月氏的使者。张骞以郎官身份应招出使月氏，和堂邑氏人甘父组成一百三十人的使团，从陇西出境。
要去月氏国，必须得经过匈奴的境内，在过境匈奴时，被匈奴巡逻兵抓获。移送给匈奴单于。匈奴单于留住了张骞使团，不允许汉使团北进。张骞以理拒争说：使团出使他国，经过临国土地，这是国家的惯例，而大王无端扣留他国使团，天下哪有这样的道理。
匈奴单于说：“我想派使团出使南越，汉朝皇帝能允许我去吗？”
匈奴单于扣留张骞十余年，给他娶了妻子，而且还有了孩子，希望用家来拖往张骞，但张骞一直保留着汉朝使者的符节，没有丢失。
张骞留居匈奴，并有了老婆孩子，匈奴人对张骞的看管日渐宽松，张骞因而得以同他的随从逃向月氏。张骞离开了妻儿，与随从向西跑了几十天，到达大宛国。
大宛国早就听说汉朝国家很富有，一直想与汉朝联系，但没有成功。如今见到了张骞，心中高兴，便向张骞问道：你想到哪里去？
张骞说：“我是汉朝使臣，要出使月氏国，却被匈奴扣留。现在好不容易逃出匈奴，希望大王派人护送我们去月氏。要真能到达月氏，我们返回汉朝，汉朝赠送给大王的财物，是无法用语言表达的。”
大宛国王认为张骞的话是真实的，就派了向导和翻译，随张骞到达康居国。康居国又把他转送到了，大月氏。
这时大月氏的国王已经被匈奴杀死了，又立了他的太子当国王。月氏国王在这里居住多年，已经征服比较强大的国家大夏。这个地方土地肥美富饶，很少有诸侯国敢侵犯月氏国。
张骞来月氏的本意是想与月氏国结盟，共同对付匈奴。但月氏国王心情安怡快乐，根本没有替父亲报仇的意思，认为汉朝距离月氐太远，结盟根本没有意义。张骞在月氏等了多日，也没有得到月氏国联汉攻打匈奴的明确态度