汉武帝为了赏赐卫青，从侍中一路升到关内侯，又加封长平侯，《史记》记载其所得封邑总共有一万六千七百户，《汉书》则有为二万二百户和三万户的不同记载，可谓身份显赫。
按照汉朝的习惯，高官贵族往往都会养大批门客。所谓门客，就是寄食于高官贵族家的人，也叫食客。门客兴于春秋，盛于战国，到了汉朝，很多高官依旧习惯养门客。一方面是为了听取他们的意见，以谋求更高的地位，另一方面养门客花费巨大，可以炫富。历史在描述平原君、信陵君的时候，都会加上一句“食客数千”，以彰显其富贵程度。
当时满朝文武皆养门客，唯独卫青不养，于是一个叫苏建的将领就劝卫青也效仿古今名士“招选择贤者，勉之哉”。卫青听了苏建的话后立刻拒绝，苏建不解，问卫青为何不养门客，卫青回答：“自魏其、武安之厚宾客，天子常切齿。”
卫青的这句话包含了西汉的两主要矛盾点：一是外戚干政，二是结党营私。
所谓外戚，就是皇后的亲戚。魏其和武安指的是窦婴和田蚡，这二人就是外戚。自西汉建立以外，外戚干政频频发生。汉朝建国伊始，以吕后为核心的外戚势力便把控朝政，甚至直接加害刘邦的子嗣。
吕雉死后，窦姬凭汉文帝上位，其家人也因为窦氏的皇后身份在朝野任官，地位显赫。而窦婴就是窦氏皇后的亲戚。汉景帝时期，窦婴因为平定七国之乱有功，掌控了汉朝的军权。而田蚡则是汉景帝皇后王娡同母异父的弟弟。皇后王娡得宠，田蚡也得以在朝中任职，能够左右朝政。而外戚的强势往往会导致皇权被威胁，所以汉武帝一直对外戚十分警惕。
而窦婴和田蚡可不仅仅是外戚这么简单!为了争取更多的权力，养了大批门客，最后形成了自己的团体。这种团体在历史上有个特定的称谓——党。
党就是帮派，明朝著名的东林党和阉党就是典型的案例。单个官员不足为道，可一旦结党就可以左右朝政，甚至威胁皇权，是皇帝最为忌惮的事情!东汉桓帝、灵帝时期，皇帝就下了党锢之禁，任何结党或者有结党嫌疑的人都要被定为“党人”之罪。
为了对付外戚结党干政的问题，汉武帝动用了大量酷吏来对付外戚，张汤、王温舒、杜周、宁成等人因此上位。《史记》记载：“外戚多毁成之短，抵罪髡钳。”武帝利用外戚之间的矛盾，先给掌控军权的窦氏扣了个罪名，最后将其灭族。田蚡听到窦婴已死的消息惊恐而死。汉武帝得知田蚡已死并没有惋惜，反而冷冷地说到“使武安侯(田蚡)在者，族矣”。可见外戚养门客并非有多么让皇帝忌惮!
卫青是卫子夫同母异父的弟弟，凭卫子夫宠幸而上位，已经属于外戚集团的一员了。如果卫青不吸取窦婴、田蚡的教训，继续养门客，只会让汉武帝觉得卫青有结党干政的迹象，到时候只怕会落个灭族的下场，所以卫青选择了孑然一身，并且回答苏建：“彼亲附士大夫，招贤绌不肖者，人主之柄也。人臣奉法遵职而已，何与招士!”
因为卫青从未养门客，所以汉武帝自始至终没有夺卫青的权。公元前106年，卫青得以善终。卫青死后，汉武帝将其葬在茂陵东北。而茂陵本就是武帝的陵墓，安排卫青葬在自己的陵寝旁足以显示汉武帝对卫青的信赖。假使卫青当时听从了苏建的建议养了门客，恐怕早就被灭族了，哪里还会葬在茂陵?
