一次，钳徒看相卫青在平阳公主府做骑奴时。有一次，他跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“这是贵人的面相啊，官至封侯。”卫青笑道：“我身为人奴之子，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”
卫青的姐姐卫子夫入宫是当时
汉武帝的胞姐平阳公主关注到中宫陈皇后一直未能诞下龙子，所以希望效仿姑姑馆陶长公主当年常给景帝进献美女的做法，在府中培养貌美少女用来进献、笼络皇帝，提升自身地位。汉武帝建元二年（公元前139年）春三月，上巳日。刘彻去霸上祭祀先祖，祈福除灾，回宫时顺路去平阳侯在京的府邸看望平阳公主。宴席间平阳公主侯府的歌女上堂献唱，卫青的姐姐卫子夫亦在其中。武帝望去众人，一眼便看中了卫子夫。继而，武帝起身更衣，卫子夫则随去侍候，并在尚衣的轩车中得到初幸。武帝回到筵席后非常高兴，赐给了平阳公主黄金千金。平阳公主因此奏请将卫子夫送入宫中，武帝欣然答应。姐姐卫子夫被选入宫后，卫青得到汉武帝提拔并逐渐展示出自己卓越的军事才能。
卫青首次出征是奇袭龙城（今河北怀来），揭开汉匈战争汉朝反败为胜的序幕，曾七战七胜，收复河朔、河套地区，击破单于，为北部疆域的开拓做出重大贡献。卫青善于以战养战，用兵敢于深入，为将号令严明，对将士爱护有恩，对同僚大度有礼，位极人臣而不立私威。
然而汉武帝信实巫术，巫术传出卫家有篡夺王位的野心。让汉武帝他开始相信卫青想要篡夺他的王位，以及他的妃子卫子夫有染指政局的企图。有吕雉的前车之鉴，汉武帝进一步限制卫青家族的权利和影响力。他还下令杀害了卫青的家人，将他的大部分财产没收，甚至放逐了卫青的遗孀和女儿。
卫青死后可能是出于猜忌心理和不安，担心卫青的家族继续拥有强大的影响力。汉武帝可能是受到了别人的误导，或者是由于其他政治考虑才采取这样的行动。不管怎样，汉武帝的确采取了严厉的措施来镇压卫青家族。