杨勇当了20年太子，并无大过错，就是花钱稍微大手大脚了些，他一生最大的缺憾即是碰到了一个极品老娘。独孤皇后奇妒无比，不但不让皇帝老公染指其他女人，连臣子的小妾生了儿子都能惹得她醋意大发，因此，因为太子杨勇基本上和正妻没什么感情，反而跟小妾们生了一堆儿女，杨勇在她眼里简直成了荒淫好色的代名词。
隋文帝这个著名的"妻管严"向来是唯老婆马首是瞻，加上他本人一贯勤俭节约，所以对杨勇的很多做法也看不惯，因此对长子杨勇的印象越来越差。
作为杨广一党的权臣杨素，抓住这难得的空隙，不停地诋毁太子杨勇，不停地在隋文帝耳边聒噪杨勇这个不是那个不是;另一边又不停地暗示晋王杨广如何贤能友好。久而久之，杨勇便成了比刘阿斗还昏庸、比陈叔宝还败家，将来早晚会断送大隋江山的不合格储君，而晋王杨广则毫无疑问成了唯一适合接替他的人选。
600年，隋朝改易太子一事终于尘埃落定，太子杨勇被废为"庶人"，杨广正式做了太子。历史，在杨素的一手操纵下，狠狠地拐了个弯。
杨素在这个过程中所扮演的不光彩角色，注定了他今后一生都只能被钉在历史的耻辱柱上，被千秋万代人所唾骂。唐太宗曾在一道《谕侍臣绝谗构论》中痛斥杨素："隋太子勇抚军监国，凡二十年，早有定分。杨素欺主罔上，贼害良民，使父子道灭，逆乱之源，自此开矣。"
杨广做了太子，他的其他兄弟马上有人表示不服，杨素又出面罗织罪名，将三弟蜀王杨秀废为庶人。
