另外，当时的舆情对李鸿章甲午战败，继而签订丧权辱国的《马关条约》，依旧追问不已，而向来可以"闻风奏事"的御史们，还在弹劾李鸿章，也牵连到淮系官僚集团的很多人。1895年12月4日，御史王鹏运上书光绪皇帝继续弹劾李鸿章，在这道弹劾李鸿章的奏折中，王鹏运还一同弹劾了胡燏棻。他认为胡燏棻编练定武军并不得力，是在"虚糜军饷"。这个话题恰恰是光绪皇帝最不愿意看见的，已经开始亲政的光绪皇帝自然要有所动作。不过，在此之前，胡燏棻已经受命督办铁路，督办军务处王大臣也决定由袁世凯接替胡燏棻督办新建陆军。
1895年12月16日，光绪皇帝下旨，命袁世凯督办新建陆军，以胡燏棻编练的定武军十营为班底。接到圣旨后，已经开始督造津芦铁路的胡燏棻于12月18日亲赴小站，点验全军人数，并最后一次检阅定武军的步兵、骑兵、炮兵等队伍。虽然工程兵尚未能熟悉西式工程兵的技法，但是，在挖壕沟，修筑壁垒、制造行军浮桥、军营和炮台修筑等方面已经初见成效。12月20日，胡燏棻将定武军官兵的花名册交给袁世凯，并盘点军用物资，清册移交。12月21日，袁世凯按照花名册点名，并每营抽查官兵，检阅西式操法的熟练程度。从军官到士兵，都对西式操法非常娴熟。胡燏棻在把最后一次军饷军需核对完毕后，正式将定武军移交给袁世凯，结束了他编练新式陆军的使命。
