后来内战爆发，他们不愿卷入内战，遂解散各谋职业，大部分隐姓埋名生活在社会的最底层，生活十分艰苦。上海解放后，陈毅市长曾亲自为这些孤军壮士安排工作。但他们在后来的"四清运动"和"文革"动荡中都受到了冲击，有一些人遭迫害致死。"文革"结束后，余下的人都在政府的照顾和善待中颐养天年，寿终正寝。
2010年12月17日，孤军壮士之一的杨养正老人以96岁高龄在重庆辞世。如今，谢晋元的四百壮士中仅有92岁的杨根奎老人一人尚存人世。
