徐振山从小调皮胆大，１０岁时，姐姐和妹妹疑被"阎王勾了魂"而病逝，他一怒之下砸了村里的阎王庙，被乡亲们称为"徐大胆"。后来，因为作战勇猛、敢打敢冲，这个绰号又被八路军的战友们传开。
１９４２年，１５岁的徐振山负责给八路军站岗送信，１９４３年入党，组织起１２人的游击队，配合八路军作战。
此后，他在抗战中先后担任游击队队长、武工队队长以及八路军排长、指导员等职。
