1938年2月，八路军总指挥朱德在临汾与第二战区司令长官阎锡山召开军事会议，决定将第二战区所属部队划分为西路军、南路军和东路军。当年3月2日，朱德、彭德怀正式出任东路军正副总指挥，负责晋东南地区的对日作战。东路军所辖部队除八路军第115师、第129师和山西青年抗敌决死第1纵队、第3纵队外，还有国民党军曾万钟部第3军、李家钰部第47军以及赵寿山部第17师、武士敏部第169师、朱怀冰部第94师等部队。
1938年3月，八路军第129师通过截获的日军一系列资料分析，敌人准备发动一次大行动，其中一份资料明确标出了"4月上旬有较大攻击"的企图，其目标是寻找八路军总部及129师主力。
收到129师发的加急电报后，3月24日至28日，八路军总部在沁县小东岭召开了国民革命军第二战区东路军将领会议，作出"以一部兵力钳制各路进攻之敌，集中主力相机破其一路"的决定。
