汉武帝和钩弋夫人的儿子刘弗陵出生的那一年，太子35岁，赵人江充被任命为直指绣衣使者。
江充原本是赵国邯郸的市井无赖，年轻时他将自己的妹妹嫁给赵国太子刘丹而成为赵王的座上客。后来又与赵太子刘丹产生矛盾，父兄因此被杀，他侥幸逃脱，更名为江充，来到京城状告刘丹，指责他与姐妹淫乱，勾结当地盗匪危害一方。尽管赵敬肃王为儿子辩护说，江充虚伪阴险，他激怒皇上的目的是为了报复私怨。但是，对刘姓诸侯王限制极严的汉武帝还是根据江充的举报立下杀手，赵国太子因此获罪死于狱中。
汉武帝很欣赏江充以平民状告赵王太子的勇气，决定召见他。江充请求自己穿平时的衣服来见皇上，武帝答应了。江充就穿着带皱的轻纱做的衣服，戴着轻纱做的帽子进宫来。那帽子上面有鸟羽毛做的帽缨，走路的时候帽缨就随着步子而摇摆，十分好看。汉武帝看到江充身材魁梧，相貌堂堂，觉得很惊奇，说：“燕赵之地果然多奇人异士呀。”
武帝召见的时候，江充回答得很得体，武帝问他想讨什么差使，他情愿出使匈奴，去刺探匈奴的情况。汉武帝一生最大的心愿就是打击匈奴，江充的回答博得了他的好感。武帝问江充：“你到了匈奴打算怎么办呢?”江充说：“那要根据实际情况来制定行动的计划，不能预先决定。”汉武帝觉得江充是一个讲实话的老实人，于是任命他为出使匈奴的使者。江充在匈奴活动了将近一年后，回到汉朝就开始受到重用，担任了直指绣衣使者，这一官职的主要职责是负责纪检和监察，担任这个职位的官员，身穿绣衣，持节发兵，有权代表皇帝诛杀违法的朝廷官员。
这样江充通过成为汉武帝特务机关的头目，他的监督职责直接延伸到了皇亲国戚，对任何违背礼制、奢侈不法的行为均有权参劾处置。
江充做事之前先揣摩汉武帝的心思，所以他每次做的事都是汉武帝想做的。江充检举弹劾，无所顾忌，迫令犯法的贵族们发配到遥远的北方去戍边。这些人自己掂量吃不了那个苦，于是决定拿钱赎罪。汉武帝通过这种办法搞到不少钱作为出征匈奴的军费，觉得江充很忠心，对他更加信任。
江充的性格特点是不怕硬碰硬，这一点很受汉武帝的喜欢。有一次，江充外出办事，在路上碰见武帝的姑姑馆陶公主刘嫖的马车在皇帝专用的弛道上行使，江充马上要查办他们。弛道有点像现在的铁路，高而结实的路基上铺上短木条，有固定的轨道，只不过不是走火车而是用来走马车。秦始皇的时候就修筑了不少弛道，一般是天子专用。面对江充的为难，馆陶公主辩解说：“我有太后的诏命批准。”江充就说：“那只有公主可以走，车骑都不行。”事情的最终结果是，江充硬是把公主的车骑全部没收充公。
江充和太子结怨也是因为同样的原因。江充跟汉武帝去甘泉宫，在前面开道，正碰上刘据派往宫中的使者坐车在弛道上奔驰。江充看到太子的手下在天子专用的弛道上，二话没说就令人将车马扣留，并将太子的使者逮捕，准备交付审判。
太子刘据得到这个消息后大惊失色，他急忙亲自去向江充道歉说：“我不是爱惜我的手下，只是请不要让皇上知道，认为我平时对手下管束不严，因此，敬请先生手下留情，饶过这一回。”
江充对太子的请求置之不理，把这件事情报告给了汉武帝。汉武帝夸奖说：“为人臣子，理当如此。”于是，汉武帝对于江充加倍重用，弄得整个京城都知道有这样一个惹不得的人物。
