经过阎锡山代表赵瑞、日军第一军代表岩田清一(城野宏的翻译)大约一周的谈判，双方达成协议：1. 日军响应阎锡山的提议，将日本军人改编成部队，置于阎锡山指挥之下。其方法是以日本人自愿为原则，办理就地队伍手续，完成日本方面的复员程序。2. 对留用的日本军人，阎锡山全部给予军官待遇，在日军现有级别基础上，提升三级。3. 给全体人员安排宿舍，并允许在营外居住，其待遇以招聘者优待。4. 合同期暂定两年，由阎锡山负责归国事宜。同日本恢复交通时，给予从日本家属来山西或给家属寄钱等方便。特别欢迎残留日军同中国妇女结婚。
为落实协定，日、阎双方在太原海子边的"日华俱乐部"成立了专门组织，研究编写残留日军的策略，并付诸实施。阎锡山认为日中双方"志同道合，共谋其事"，所以亲自为这个组织起名为"第二战区司令长官部合谋社"，由山西省政府秘书长梁延武任主任，岩田清一、城野宏等人担任要职。
