儿单于见他们如此光景，很生气，就把他们全部扣留了。这以后，汉朝的使者又有十多批被扣留在匈奴，而匈奴使者来到汉朝，也被扣留十多批。
儿单于年少气盛，喜欢打打杀杀，国人多有不安。儿单于的部下，左大都尉也看不惯儿单于的所做所为，就想杀了儿单于，另立单于。左大都尉派亲信到汉朝商议，想杀死单于归降汉朝，但汉朝太远，希望汉朝派兵接应，我就立即杀了单于。
汉朝听信了这此话，就在边境修了受降城。而左大都还是嫌远。
第二年春天，汉朝派浞野侯赵破奴率两万骑兵，从朔方郡出兵西北二千余里，预定到达浚稽山，来接应左大都尉的计划的计划实施。浞野侯到达约定的地点，等待着左大都尉的消息。但左大都尉的保密工作，做的不好，被儿单于发现了。儿单于杀了左大都尉。
儿单于杀死了左大都尉，命令左方军队，进攻赵破奴。赵破奴率领部队边撤边战，杀敌数千，当撤至距受降城还有四百里的时候，赵破奴的两万骑兵，被八万匈奴骑兵围攻。赵破奴打又打不过匈奴骑兵，逃又逃不脱匈奴骑兵的层层包围，内无粮草，外无救兵，连水都没的喝，将士已经没有了斗志，只好全军投降了匈奴。
匈奴儿单于大喜，又派遣突击队攻打受降城，没有攻打下来，便到汉朝边民处抢掠一番才离去。第二年儿单于亲自率骑兵攻打受降城，结果在途中病死了。
儿单于继位三年就死了，他的儿子年纪太小，匈奴人就立他的叔父乌维单于的弟弟右贤王呴犁湖为单于。
呴犁湖单于继位后，汉朝派光禄徐自为出五原塞，修筑城堡和哨所。近的修数百里，远的修一千余里，一直修到庐朐。又派游击将军韩说、长平侯卫伉驻守在附近，又派强弩都尉路博德，在居延泽修建城堡。
这年秋天，匈奴大举入侵定襄、云中两郡，杀死和抢掠数千人，打败数位二千石级的高官才离开。行军途中还破坏了光禄徐自为所修的城堡。
又派右贤王侵入九泉、张掖二郡，掠走数千人。恰好遇见了汉朝将军任文引兵相救，匈奴不得已抛下抢来的汉人逃走了。这一年继位一年的呴犁湖单于去世了。