1925年7月，国民政府在广州成立，所辖军队统编为国民革命军，张云逸成为国民革命军中响当当的人物。1926年7月，国民政府誓师北伐，张云逸随军北上。由于他能参善谋，先后被任命为国民革命军第4军25师参谋长、第二方面军参谋处长。中国共产党的彻底民主革命纲领，共产党员在北伐中的英勇牺牲精神，使张云逸深受教育，觉悟到只有在共产党的领导下，才能推翻帝国主义和封建军阀在中国的统治，使劳动人民获得解放。
1926年11月，他在武汉秘密加入中国共产党，时年34岁。后来，他回忆说："我入党时年龄已经很大，薪俸相当高，我是为了解放劳动人民才来入党的。"从那以后，他由激进的资产阶级民主革命者转变成了自觉的共产主义者。在北伐中，第4军成为家喻户晓的"铁军"，张云逸的参谋功底也日见深厚。
