在高岗四处活动之际，饶漱石也没有闲着，到处散布刘少奇的谣言，配合高岗企图把刘少奇拉下来。他本来是刘少奇在华中工作时培养起来的干部，但自从到北京担任中共中央组织部部长后，误以为现在是高岗得势，刘少奇可能会"失势"，于是就不择手段通过打击副部长安子文，极力表白他不是刘少奇"圈圈"中的人，以取得高岗的信任。在1953年夏季财经工作会议期间，饶漱石捏造说：某某是一个宗派，一个"圈圈"，刘少奇是他们的支持者。在安子文就"名单"问题向中央作了书面检讨，并请求处分后，饶漱石却仍抓住这件事不放，并煽风点火说：财经会议上斗了薄一波，会后还要斗"圈"中的安子文。
果不其然，财经工作会后不久，饶漱石未经中共中央同意，就制造各种借口，在中组部内发动了对安子文的斗争。他指责安子文起草的中组部关于反对官僚主义斗争的报告不真实，说中组部是潭死水，问题严重，要把它"震动"一下。安子文将这些情况如实地向刘少奇作了汇报。刘少奇找饶漱石淡了一次话，表示不同意他的这种错误做法，并告诫他要冷静行事，不要再在中组部内部继续争吵。但利令智昏的饶漱石根本听不进去，在中组部召开的两次部务会议上，继续斗争安子文，还倒打一耙，指责安向刘少奇反映问题是"有意挑拨是非，制造分裂"，逼迫安子文作检讨。
1953年9、10月间，中共中央召开第二次全国组织工作会议，主要内容原定是总结经验，研究如何加强干部工作，以保证经济建设的顺利进行。可是，饶漱石却在会上兴风作浪，煽动个别不明真相的地方党委组织部长同他一起攻击安子文，并把矛头对向刘少奇。尽管如此，仍没有掀起多大的风浪。饶漱石不死心，在中央书记处汇报会上说："这次组织工作会议，该来的人没有来，不该来的倒来了一大堆。"毛泽东听出了他的话外之音，就让邓小平问他谁该来，开个名单，统统请来。饶漱石心中有鬼，只点了陈赓的名字。原来，他听说解放战争时期陈赓率部在太行山地区活动时，因后勤供应问题曾对时任晋冀鲁豫中央局副书记的薄一波有过意见，又知道陈赓讲话无所顾忌，以为陈赓来了能放上-炮。其实陈赓根本不是那种人，他来开会后并没有如饶漱石所想的那样发言。
全国组织工作会议出现不正常情况后，毛泽东提议会议暂停，先举行领导小组会议，解决中组部内部的团结问题。在领导小组会上，刘少奇肯定了中组部过去工作的成绩，同时对工作中存在的某些缺点和问题主动承担了责任。邓小平也在会上强调：中组部工作的成绩，"是与毛主席特别是少奇同志的直接领导分不开的，但子文同志也有成绩，不能设想只是领导得好，他们做不好而会有成绩的。"
