"我是一名曾经在战场上将枪口对准八路军的日本士兵，然而，当我变成八路军俘虏的时候，八路军不但没有把我当作敌人，还给我充分的自由和平等，把我当作朋友、兄弟和同志加以对待，并使我从蒙昧中得到真正的觉醒"，小林对包括本报记者在内的日中两国友好人士经常这样讲。
小林不仅看清了那场战争的侵略性质，而且还明白了，为了永远消灭这样的战争，为了使日中两国人民从日本军国主义的蹂躏下解放出来，为了使日中两国人民永远友好下去，就必须跟随中国共产党领导下的八路军前进。
1941年9月18日，小林与小林清、布谷等人成立了"反战同盟胶东支部"，正式成为八路军的一员。小林与其他反战同盟成员一起书写、散发反战宣传单；到日军据点附近直接喊话；在日军必经之地的墙壁上书写标语，劝他们放下武器投降。
1944年8月，小林被调到日本人民解放联盟滨海支部任支部长。那年年底，日军在各战场节节败退，只好龟缩在据点里负隅顽抗。
