1911年，他投奔清军奉天后路巡防营管辖吴俊升，因作战英勇，他从四营中哨哨长、连长、营长、团长、旅长一路升任东北边防军马队师师长。1925年，马占山任东北陆军第17师马队第五旅旅长，日本侵略者在皇姑屯炸去世张作霖以及吴俊升后，他立誓"公仇私恨，必抨击之"。
1929年，马占山被张学良录用为黑龙江省马队总指挥兼黑河警备司令。因他屡立军功，后官至东北军马队第二军军长。"九一八"暴发后，日寇兵不血刃占领辽宁、吉林两省后，又北长进犯黑龙江，马占山临危奉命代办署理黑龙江省主席，率部血战江桥，打响了抗战第一枪，史称"江桥抗战"。
