卫青去世后，汉武帝确实杀了他的儿子卫伉。但是，并没有诛杀卫青的家族。因为卫青还有后代留世。他总共有三个儿子，汉武帝只是杀了卫青的长子。汉武帝之所以要杀卫青的儿子，是因为他卷入到了巫蛊之祸当中。不要说卫伉了，同时被卷入巫蛊之祸的汉武帝的太子刘据，还有汉武帝的女儿，都没有幸免，他们都是一起被杀了头的。这一场巫蛊之祸，涉及的人数多达几万之众，所有的人在这场灾难中，全部都被处死了。

公元前132年，汉武帝继马邑之谋之后，第一次出兵匈奴。当时汉武帝派出了三路大军，分别是：骑将军公孙敖从代国出兵；轻车骑将军公孙贺从云中出兵，骁骑将军李广从雁门出兵，卫青拜车骑将军从上谷郡出兵。结果公孙贺一无所获，公孙敖被匈奴斩杀7000多名骑兵，李广被匈奴人俘虏，后装死逃脱，只有卫青奇袭龙城，大获全胜，斩首和俘虏匈奴兵士七百余人，大大鼓舞了汉军的士气，武帝赐封其为关内侯。

都说母凭子贵，儿子受辱自尽，母亲自然也不能独身，卫子夫也因为不能证明清白不堪受辱而自尽。这样，卫家的最后一位大靠山也没了。汉武帝是不会放弃这么好的机会的，再加上太子刘据叛乱也有部分卫家子弟参与，所以汉武帝也就借此对卫家来了一次大清洗。其实卫家被汉武帝清洗的根本原因还是因为卫家的权势过大威胁到了皇权，巫蛊之乱，太子刘据叛乱只是一个导火索和原由。卫家作为当时十分具有权势的外戚，被迫害是情理之中的事，换作其他的家族，后果也是一样的。