为落实协定，日、阎双方在太原海子边的"日华俱乐部"成立了专门组织，研究编写残留日军的策略，并付诸实施。阎锡山认为日中双方"志同道合，共谋其事"，所以亲自为这个组织起名为"第二战区司令长官部合谋社"，由山西省政府秘书长梁延武任主任，岩田清一、城野宏等人担任要职。
日本宣布无条件投降后，城野宏命日伪军就地驻防，确保占领区，迎接阎锡山的到来，"万勿将防地让给共军"。当然，并非所有在山西的日军都愿意留下来，其实大部都已归心似箭。城野宏想尽各种方法劝说名义上已经成为战俘的日军及在华侨民继续留在中国，他极力宣扬所谓复活军国主义的可能性、日军残留山西的目的和意义，要日本人"卧薪尝胆，为了复国而残留"。他甚至派人到河北和北京，煽动那里的日本人残留山西。最后大约有2600名官兵被编入阎锡山的部队，还有技术人员和家属，共约6000人。阎锡山对所留用的日本士兵，不但发双饷，而且后来一律晋升为少尉或中尉。
阎、日合流使得中国境内在抗日战争胜利之后出现了一种匪夷所思的现象，即日军投降一两年了，依然看得到打着太阳旗的日军在活动。直到1948年6月人民解放军发动的晋中战役中，阎、日联军被歼达7万余人。加上在山西临汾和忻州两地被歼灭的日军，残留山西的日军死伤、被俘过半，几近覆灭。剩余的残留日军作垂死挣扎，甚至惨无人道地对解放太原的解放军使用了名为"联二苯"的毒气弹。但随着太原的解放，最后残留山西的日军彻底覆灭，城野宏等日军高层军官全部被俘。
