吴稚晖、蔡元培都是文人，他们的反共使蒋介石有了理论上的支持。但如何实施清党，则要做好各方面的准备。蒋在上海频繁活动，与租界当局达成协议，维护西方国家在华利益，并与日本领事会谈，使外国人了解蒋的立场，并给予支持。他与上海青帮头目杜月笙等密谈，让他们组织"中华共进会"，配合清党，还与广东的李济深、广西的李宗仁在上海商定：同步在各地开展清党。
"四一二"：蒋介石开了杀戒
其实，陈独秀与中共中央负责人对蒋介石的阴谋活动已有警惕。陈独秀在3月25日晚特委会上明确指出："我们现在要准备一个抵抗，如果右派军队来缴械，我们就与之决斗。此决斗或许胜利，即使失败则蒋介石的政治生命完全断绝。"中共中央决定加强工人纠察队的力量，调百余干部，作为纠察队的骨干，加紧训练。
但请示莫斯科后，这个武力反蒋的计划不仅未获准，联共(布)中央政治局反而于3月27日、28日、31日连续指示中共中央："请你们务必严格遵守我们关于不准现在举行要求归还租界的总罢工或起义的指示。请你们务必千方百计避免与上海国民军及其长官发生冲突"；"暂不进行公开作战，不要交武器，万不得已将武器收藏起来。""开展一次反右运动。鉴于力量对比上处于非常不利地位，我们不要仓促地进行公开斗争。武器不要交，必要时隐藏起来"，"勿以武装力量扰乱租界。"
共产国际的指示，捆住了中共的手脚。而蒋要清党，也必须求得国民党主席汪精卫的同意。汪刚被蒋排挤下台，去苏联考察，4月1日回到上海。蒋介石、蔡元培、吴稚晖、李石曾等立即上门拜访，吴稚晖告诉汪："陈仲甫(陈独秀)他说二十年就把中国变成共产党国了。"汪说："哪里要二十年呢？两年吧。"这表明汪对中共也是怀有戒心的。于是蒋明确提出两件事：一是赶走苏联顾问鲍罗廷，二是分共，要汪同意。但汪心里另有想法，他手里没有军队，要维持他的领袖地位，对抗蒋介石，还离不开共产党的支持。汪表示这两件事情关系全局，要回武汉召开国民党中央委员会议讨论。为了平息蒋对他的不满，汪在上海直接找陈独秀谈话，陈否认他对吴稚晖说过的话，并表示要继续与国民党合作。于是，陈起草了《汪陈联合宣言》。
这个宣言的发表，使陈独秀背上了"右倾投降主义"的黑锅，导致了他日后的下台。陈后来在给中共中央的信中，对当年的行为表示深为悔恨。
其实汪精卫也不是坚定地要和共产党合作。蒋介石听说此事后，立即找汪陈述利害。汪遂有反悔之意。但报馆已经开印，撤不回来了。《汪陈联合宣言》刊出后，吴稚晖激烈反对，斥责汪的"联共政策"和"两党合作"立场，激愤之余，对汪开口辱骂"一个兔子白面书生和横眉竖眼的陈独秀吊膀子"。汪大受刺激，甩手不管，次日就离开上海去了武汉。
