新中国成立后，他在济南市人民政府担任干部，专门负责日侨工作。他在中国娶妻生子，妻子是解放军四野部队中的一名日籍女护士。直到1955年，小林才携妻带子回到日本。小林对中国怀有深切感情，回国后一直主张对华友好。
日籍反战斗士遍及各条战线
抗战时期，中国活跃着相当数量的日籍反战人士，他们的主要来源是被俘的或因不堪长官虐待而投诚的日军士兵，还包括流亡中国的日本共产党党员与左翼人士。到抗战结束前，在华的日籍反战人士保守估计近1500人。他们从事的反战宣传产生可观效果。在日本侵华部队中，因为日籍反战人士的宣传而出现的厌战、内讧和逃亡现象逐渐增多，并形成滚雪球式效应。
