因卫子夫受宠，其家中手足亲友也接连得到汉武帝封赏。弟弟卫青受到汉武帝的赏识，在战场上屡立战功最终加拜大司马大将军并娶汉武帝姐姐平阳公主为妻。卫子夫的外甥霍去病也因战功受封大司马骠骑将军。卫家的宠贵也对卫子夫的地位起到了巩固的作用。
随着卫子夫年老色衰，宠幸也渐失。汉武帝本就有荒淫、好美女。等到卫子夫容貌衰老，武帝对她的宠爱也就渐衰。在卫子夫成为皇后之后，先后有王夫人、李夫人、尹婕妤、钩弋夫人受宠。
征和二年（前91年），卫皇后的女儿诸邑公主、侄子卫伉和姐夫公孙贺一家因巫蛊事件被杀。其后，曾得罪过刘据的江充趁机诬告刘据参与巫蛊一事。而刘据根据少傅石德的意见，于征和二年（前91年）七月，派人抓捕了江充等人并杀了按道侯韩说，然后又在卫子夫的帮助之下，用宫中车马房的车载着弓箭手，并搬取武库武器、调取皇宫侍卫，杀了江充，并在上林苑烧死了巫师，接着又与丞相刘屈氂所领之兵交战，最终战败而逃。太子刘据战败逃走之后，武帝下诏派宗正刘长乐、执金吾刘敢去收回卫子夫的皇后玺绶，卫子夫自知无法解释，于是自杀。其后被黄门苏文、姚定汉用一小棺将其葬在了长安城南的桐柏亭。而太子刘据最终在长安城外的一个贫民家中自杀，卫氏家族也被灭。
卫子夫的弟弟卫青是汉武帝时期的大将军，曾经立下赫赫战功。卫青在世的时候，汉武帝对他非常尊重和敬仰，也十分信任他。
卫青年少时，与生父郑季一起过活，奴隶之子。卫青的父亲是在平阳公主府上为县吏的郑季。其母亲在平阳公主的夫家做女仆，但郑家的人将他当成奴仆虐待。他的生母因为卑微，她并没有姓氏和名字，只因丈夫姓卫，被称为卫媪（卫老太太）。卫媪与卫姓男生有一男三女，即儿子卫长君、长女卫君孺、次女卫少儿、三女卫子夫。丈夫死后，她仍在平阳侯家中帮佣，与同在平阳侯家中做事的县吏郑季私通，生了卫青。
父家无靠，母亲卫媪当时已经有四个孩子，供养卫青让她的生活非常艰苦，便将卫青送到了亲生父亲郑季的家里。郑季的夫人看不起卫青私生子的身份，将他当做佣人一般使唤