童年时期卫青是很悲惨的，没有精致的吃食，没有悉心照顾着他的奴仆，也没有好看的衣服给他穿，他所拥有的不过是来自生父家中的虐待。他的母亲因为与平阳侯家中的县吏私通而生下了他，因为抚养他挺困难的，于是将他送到了自己亲生父亲的身边。可是他的亲生父亲并没有善待他没有教他诗书礼仪，而是给了他一个差事让他去放羊，他的那些同父异母的兄弟也都很不喜欢他。

卫青受不了这样的冷眼生活，于是回到了生母身边甘愿去做一个心爱女人的随从。那时候的卫青白白有一腔抱负不知道哪里去施展，但是命运没有苛刻地对待他。他的三姐卫子夫被汉武帝看中并且宠幸然后带回了宫里，第二年卫子夫有了身孕，恩宠渐渐的越来越多，连带着卫家也开始有点地位。

陈皇后有不孕的症状，很是嫉妒卫子夫能够拥有这样的宠幸，于是和自己的母亲商量，派人抓了卫青想要给卫家一点教训，幸好卫青的朋友机智地将他救下。这件事情最后还是让皇帝给发现了，皇后作为中宫不好惩治于是他就给了卫家许多的金银表示安慰，还将卫青封了官爵，让他去掌管朝廷中议论的事情。

不久，汉武帝任命卫青为将军给了他一万的军队让他去讨伐匈奴。第一次进攻匈奴，卫青并没有急躁地前进，而是十分冷静地指挥着官兵，机智地制定着作战的计划，最后他独自深入到凶险地方击溃敌军。与他一起征战的还有其他三路军队，但是只有卫青一个人凯旋回朝，带来了征战胜利的消息。皇帝于是升了卫青的官位，将他封作侯。

第二年卫青领命再次北山去讨伐匈奴，这一次他包围了匈奴的大军，俘获了匈奴中地位崇高的一群贵族，汉武帝收到了前方连夜带回的战报很是高兴，他让使者连夜返回带着他的旨意 封卫青为大将军，并且还将卫青的几个儿子都封为列侯。

这之后，卫青凡是去讨伐匈奴，几乎没有失败的，他的侄子霍去病更是十分勇猛，斩了单于的家人等一些名将，年纪轻轻就成为令匈奴感到害怕的贵族，还被汉武帝封为了冠军侯。

自此，卫家的地位不断地在攀高，卫青也深受汉武帝的信任，直到他去世。