阎锡山，字伯川，1883年10月8日生于山西省五台县河边村的一个地主兼商业贷款者家庭里。
1902年，阎锡山参加了山西武备学堂的招生考试，并被录取。在接受了3年的初步军事教育后，又于1904年被清政府选送日本学习军事。他先后在东京振武学校、弘前步兵第三十一联队和东京日本士官学校学习了5年。
阎锡山在日本留学时，正值孙中山在日本倡导革命。他加入了孙中山领导的中国同盟会。不久，阎锡山又遵照孙中山的指示，联合同盟会中学习军事的李烈钧、程潜等 28人成立铁血丈夫团。辛亥革命时，他们大多是各省起义的主要军事领导者。
1907年，阎锡山遵孙中山之令，和友人赵戴文由东京携炸弹回山西布置革命工作。到上海时，得知海关检查极严，阎锡山就将赵戴文所携炸弹集于己身，并对赵说："如被检查出来，我一人担当，你不要承认是我的朋友。检查时，我站前列，你站后列。"赵戴文不解，问："我站前列，你站后列如何?"阎答："站后列有畏惧检查之嫌，容易被注视，所以我站前列。"果然，海关检查人员检查后列较为严格。阎锡山在渡过这一难关后对赵说："事到危难宜放胆，不可畏缩，畏缩易使人怀疑。"
1909年，阎锡山从日本毕业返国，初任山西陆军小学教员，不久又应清廷招考，得中举人。回晋后，任山西陆军第二标教官，翌年任第二标标统。阎锡山一面致力于训练新军，培植亲信;一面成立"俱乐部"，结交革命党人，宣传革命。
1911年10月29日，阎锡山在太原发动革命起义，被推举为山西都督。
1911年10月 10日武昌起义，各省纷起响应。消息传到山西后，太原、晋南和晋北的革命党人积极准备发动起义，阎锡山积极组织太原革命党人发动武装起义，攻占巡抚署，击毙山西巡抚，取得胜利。太原辛亥起义成功，阎锡山被推选为大都督，以后逐渐总揽了山西军政大权。
1928年4月，蒋介石联合冯玉祥、阎锡山、李宗仁组成四个集团军，举行"二次北伐"，击败奉系军阀。至年底"东北易帜"，实现统一。
1935年华北事变后，日军进窥绥东，阎氏为了维护他的官僚资产和政治地位，提出"守土抗战"的口号。客观上来说，这口号还有一种抗日精神，也就成为他后来接受中国共产党提出的抗日民族统一战线政策的思想基础。这年冬天，中共中央声明停止内战，一致对外，要求阎锡山允许红军通过山西地区开赴前线抗日，但是阎锡山拒绝了。
1936年，中华民族抗击日寇侵略的形势越来越严峻，阎锡山面对共产党、蒋介石、日本军队三种势力进入山西的局面，举棋不定。面对这一复杂局势，毛泽东审时度势，综合各个方面情况进行了全面分析，果断决定挥师东征，打通抗日路线。经过 75天的战斗，红军歼灭国民党军 7个团，俘获 4000余人，筹款 30余万银元，红军扩大新兵 8000余人，党和红军在全国扩大了政治影响，推动了华北和全国抗日高潮的到来。
