满朝文武，除了驸马梁毗还敢上书弹劾，已无一人敢出头，梁毗怒斥："太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。"然而，杨素权势已极，终无法被撼动半分。
最后，连隋文帝之死，都与杨素挂上关系。
关于隋文帝之死，史书虽然闪烁其词，并没有明言说是被杨广所弑。但是综合来看，杨广一党终究难逃嫌疑，而作为杨广首席帮凶的杨素，一直被视作具体行动者，受到万世之唾骂，武则天诏书里说他"生为不忠之人"指的正是此事。
在喜欢给历史人物脸谱化的中国，杨素的白脸形象似乎已难再改，然而，在拨开历史的层层迷雾之后，我们又发现，杨素似乎长有另外一副完全不同的脸谱，他宽容大度、不拘小节，不但是善于挖掘人才的伯乐，更是接连促成几段爱情佳话的好人，隋唐之际产生的"破镜重圆"、"风尘三侠"、"牛角挂书"等几段佳话皆与他有关。
在杨素身上，我们似乎可以看到魔鬼与天使截然相反的面孔!
