八路军总部接到阎锡山的电报后，立即命令115师于24日拂晓进人阵地，以3个团集结于冉庄，准备配合平型关部队侧击进犯的日军。另以师直属队之一部及独立团在灵丘以北活动。115师接到命令后，立即连夜冒雨出发，进至离平型关只有十多公里的冉庄待命。
9月24日，林彪带旅团营干部察看了地形，最终选定的伏击地点就是在这条谷地中一段被当地人称为乔沟的地方，位于内长城平型关以东，沟长约4公里，东北西南走向，地势险要，沟深十多米到几十米不等，沟底古道宽不过三五米，仅能容一辆卡车单行，古道两侧是刀削似的危崖绝壁，再上面是比较平缓的沟岸。
