1954年11月9日，根据全国人大一届二次会议的决定，毛泽东任命粟裕为总参谋长、刘伯承为训练总监部部长、罗荣桓为总政治部主任兼总干部部部长、 叶剑英为武装力量监察部部长、黄克诚为总后勤部部长、杨立三为财务部部长、王树声为总军械部部长。在当时军委八总部体制下，杨立三成为军委七大将星之一。
1954年11月28日，在苏联治疗的杨立三与世长辞，身后没有留下任何财产，但他却给我军后勤工作人员留下了非常珍贵的后勤工作史料---20多本工作日记。
1954年11月29日，当时主持中央军委日常工作的国防部长彭德怀惊悉噩耗，立即决定：
（一）成立杨立三同志治丧委员会，由彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英、粟裕、黄克诚、萧劲光、刘亚楼、甘泗淇、赖传珠……等二十同志组成，并以彭德怀为主任，黄克诚、甘泗淇为副主任。
