蒋先云虽极受蒋介石的青睐，是黄埔同学中提拔擢升最快的一员，但后来却与大蒋越走越远，大蒋与共产党反目的"中山舰事件"发生后，双重党员身份的蒋先云第一个公开声明退出国民党，1927年4月12日蒋介石以血腥手段彻底反共，二蒋彻底恩断义绝。4月17日，小蒋在武汉发起黄埔学生讨蒋大会，任大会主席。在30万人的大会上小蒋慷慨激昂地声讨大蒋的叛变革命。
北伐期间，蒋先云任北伐军总部秘书，后任补充第五团团长，出师广东、湖南、江西，抵达武汉后，时在南昌的蒋介石爱敬小蒋之才，仍数次派人力邀小蒋，许以第一师长之职，然小蒋不为所动。有所不甘的大蒋遂在报纸上刊载与小蒋的合影。
