刘据一天天长大，情况却发生了变化。刘据的政治行情“看涨”就意味着卫家的政治行情“看涨”。刘彻终生致力于巩固皇权，对于外戚家族与太子的紧密联系打心底里没有好感。所以，他对于是否要传位给刘据，心中有了一丝阴影。
有人说，儿子总比外甥要亲。刘据会向着刘家，不会向着卫家的。汉武帝刘彻也这么想，可他渐渐地发现刘据这个儿子并不怎么向着自己，反而在许多问题上和自己唱反调。这让做父亲的很恼火。刘彻独尊儒术，他给儿子找的老师都是儒生，教的也是儒家思想，认真学习的刘据自然精通儒家知识，性格仁恕温谨。而刘彻只是表面推崇儒学，内心是将儒家作为统治工具。刘彻真正崇尚的是绝对的权威和强法，儒学有用的时候拿来装点门面，没用的时候毅然弃之不用。小刘据没能真正体会老父亲的苦心，严格按照儒家理论办事，父子俩在政治理念上产生了不可调和的矛盾。汉武帝连年用兵、对外征战，运用强权削藩罢侯，征收繁重的赋税，刘据在这些问题上都不赞同父皇的做法。汉武帝慢慢老了，觉得儿子不像自己，更担心儿子没有驾驭天下的能力。
皇后卫子夫看着儿子和丈夫之间的隔阂，心里着急。卫子夫能够做三十八年皇后，除了和卫青一样谨小慎微、恭谨谦和外，还在于她遇事有主见，能够向别人施加影响来实现自己的目的。比如，卫子夫知道卫青的几个儿子不成才，怕他们风头太盛出问题，多次请求丈夫刘彻不要封赏卫青的儿子，以退为进，实际上是保护自己的侄子。现在，卫子夫看到儿子老违背丈夫的意思，就经常劝诫儿子：“作为太子，你要经常揣摩父皇的心思，理解父皇的意图，按照父皇的要求去做，不能擅自做主，做一些与父皇的想法不一致的事，比如平反冤狱。这本是你父皇制造的冤狱，你却给予平反，不是否定你的父皇吗？”可惜，刘据沉溺于儒家说教太深，对母亲的忠告听不进去。