毛泽东在三湾对部队进行了整编，当他站在钟家祠堂门口对部队讲话，说愿意跟自己走的站到左边来时，伍中豪在许多人迟疑之中毫不犹豫地走了过去。
毛泽东对伍中豪也十分倚重，视为自己军事上的得力助手。
红四军组建后一个月后，毛泽东也开始注意到了林彪，对他与自己相同的"红军集中打击敌人，分散发动群众"观点深为赞许。
不久，林彪与伍中豪几乎同时官升一级。一为28团团长，一为31团团长，两个团都是红四军的绝对主力。
他们两人的升职，都与红四军参谋长兼28团团长、黄埔一期生王尔琢有关。1928年8月，王尔琢在劝阻叛逃的营长袁崇全时牺牲。他留下的28团团长一职，毛泽东让林彪接任；留下的参谋长一职，毛泽东让原31团团长朱云卿接任，朱云卿留下的团长空位，则交给了伍中豪。
