然而围墙之外，却是戒备森严。孙立人的小孩直到读小学之后，才有机会跟外界小朋友接触。即便如此，由于家庭的特殊身份，老师和同学都会以异样的眼神看他们。为了不给孩子心理上造成影响，孙立人很少在孩子面前讲述他的往事。
长子孙安平回忆说："但小孩子们是有感觉的，或多或少对父亲的冤枉知道一点，心中总为父亲的遭遇叫屈。有时候看到父亲想到旧日的部属受到不好的对待，或想到过去一些不公平的事情，总是涨红了脸，不说话，我们就觉察到他很难过。"
孙立人老年得子，对他们虽疼爱有加，但管教却丝毫不放松。他每天为孩子补习功课，无论国语、英语还是数学，他都能讲解，有时比老师讲的还清楚。在他的悉心调教下，长女孙中平和幺女孙太平考取清华大学，长子孙安平考取中原理工学院，次子孙天平考取辅仁大学。四个孩子上大学，每年开学交学费，是家里的一大难事。孙立人的堂妹孙敬婉回忆说："二哥脾气很犟，非到山穷水尽，绝不会让人帮忙。有一天，他的大儿子要进大学学费没着落，二哥迫不得已，才打电话给我，要我帮忙，我知道他一定是没办法了，才会开口的。"1974年，长女孙中平由清华毕业，父女希望能一起参加毕业典礼。但上面觉得敏感，未能前往，成为遗憾。1959年孙的亲哥哥孙同人去世时，孙立人也同样受阻未能前往，只好看着哥哥送的砚台痛哭。
到了1979年，长子安平和幺女太平同时从清华毕业，孙立人再度申请参加毕业典礼，终获许可，但同时上面与他约法三章：不许上台说话，不准带花，不准与任何人交谈。孙立人如此参加过典礼后，在笔记本上写道：有理无处讲，有冤无处申。
