1929年3月，第一次蒋桂战争爆发，蒋介石侥幸取胜，俞作柏、李明瑞从李宗仁、白崇禧的桂系中分化出来，控制了广西局势。为稳定局势，蒋介石任命俞作柏为广西省政府主席，李明瑞为广西省绥靖公署司令。他们为巩固政权，暗中请求共产党派干部来广西协助。为发展广西革命事业，中共中央代表邓小平(化名邓斌)领导张云逸、叶季壮等几十名共产党员，通过各种社会关系进入广西。
1929年7月，张云逸离开妻子韩碧和刚出生几个月的长子远之抵达南宁，中共地下党组织通过秘密党员俞作豫(俞作柏的胞弟，李明瑞的表弟)向李明瑞建议：创办有三个营九个连共千余人的教导总队，由张云逸担任副总队长。到职后，张云逸首先在连队建立党的组织，发展党员，两个月便发展了300余名新党员。一个多月后，张云逸又兼任广西警备部队第4大队(相当于团)大队长。上任伊始，他从教导总队调来百余名党员改造这支旧军队。这样，这两支军队的领导权很快掌握在共产党员手里。不久，经俞作豫向俞作柏、李明瑞提议，张云逸被任命为南宁警备司令，兼管省军械库大权，成为时人心目中的"桂军新秀"。
