就在这时，一连串不以任何人的意志为转移的事情的发生，注定了饶漱石的政治生涯是命途多舛，并在突然之间栽入深渊。当全国的党代会已经就高饶问题降低调门，并统一到"以帮为主，还要给出路"的意见上时，情况骤然生变。
会议进行的第三天，饶漱石的秘书陈麒章，向中央办公厅提交了两份关于饶漱石近来表现反常的情况反映。反映中讲到：饶在全国党代表会议召开的前后几天，多次向秘书和身边的工作人员发牢骚。一是否认自己曾经与高岗联盟反党，说联盟应该是有协定，而协定又要有文字的。他们没有这样的协定，也没有拱手同盟的反党活动。因为反党就是反毛主席，他们根本没反毛主席，只是批评了刘少奇，自己当时的几条检讨和书面检查，都是被迫说了违心话；二是这次挨整得这么厉害，主要是陈毅打击报复，从中作梗，他要向中央申诉冤屈，要中央重新审理问题。陈麒章将这些情况书面反映给中央办公厅，中办转到党代会秘书处，秘书处将材料印发给全体代表。
代表们看了材料，许多人被惹火了，纷纷抨击饶漱石"果然很不老实"。说饶不老实，这是有根源的。七届四中全会批判高饶反党联盟，饶漱石避重就轻，找借口为自己开脱，不光否认与高岗有联盟，而且认为自己没有反对毛主席，只是对刘少奇不尊重。他的这种态度引起很多人不满，谭震林、邓子恢、曾山、刘晓、栗裕等人，都严肃批评饶不老实。现在，新情况与老问题结合起来，就发生了质的变化，不长的时间内，饶就要为自己翻案，足见此人"本质很坏，不可信用"。
接着有一份关系到饶漱石的材料印发到了会议上。材料揭发上海市公安局长扬帆，在上海解放初期的镇反运动和维持社会治安中，实行"以特反特"的策略，所重用和包庇的特务分子、反革命分子多达3300余人。这件事直接牵扯到饶漱石，因为当年担任华东局第一书记的饶批准了"以特反特"的方针。尽管这一方针当时来说是必要而切实可行的，也取得了镇反、反特工作的很大成绩，但也不可避免的带来了一些负面的影响。在公安部1954年11月烧起的第二把"大火"中（第一把"大火"是揪出了广州市公安局长陈泊、副局长陈坤的"反革命案"，此案后已平反），把"以特反特"方针的实施，当成杨帆的重大罪恶--包庇、重用特务、反革命分子，并将杨帆逮捕，押解北京囚禁受审。
