除李鸿章外,各地军政大员纷纷反对签约,负责督办军务的左宗棠指出,割地犹如"投犬以骨,骨尽而噬不止",只能刺激沙俄的侵略野心。朝廷应该"明谕边臣,整备以待","先折之以议论,委婉而用机;次决之以战阵,坚忍而求胜",将外交斗争和军事斗争相结合。
1880年1月,同治皇帝下令将崇厚革职拿问,2月又致书沙皇,宣布拒绝批准条约,并派遣曾纪泽(曾国藩的儿子)为钦差大臣出使沙俄,改订条约。同时,密令左宗棠、李鸿章、曾国荃、刘坤一等各地军政大员和驻防东三省、新疆及乌里雅苏台(外蒙古)的将领,加强防御,准备抵抗沙俄入侵。
沙俄果然进行武力威胁,在中俄边界西段,沙俄土尔克斯坦总督考夫曼和新西伯利亚总督卡兹纳科夫,集结重兵,准备分三路进攻新疆。在中俄边界东段,也准备侵占东北三省。沙俄海军上将列索夫斯基指挥的数十艘军舰,也向远东开进,扬言封锁渤海,进逼北京。左宗棠则针锋相对,带着棺材来到新疆哈密,表示为国捐躯的决心,其部下刘锦棠制订了分兵三路收复伊犁的计划。此时,沙俄刚刚结束与土耳其的战争,实力受损,外交孤立,战胜中国的把握并不大,因此被迫回到谈判桌上来。
曾纪泽认为,当时的中俄交涉,主要包括分界、通商和赔款三个方面,"分界既属永定之局,自宜持以定力,百折不回",其他两方面可以做一些让步。沙俄表示可以多交还一些伊犁土地,但必须将其他地方割让沙俄,以作为"补偿"。沙俄外交部官员布策竟追问:"中国沿海地方何处可让?"曾纪泽答之:"我想自今以后,中国地土断无再让之事。"在谈判几乎破裂之时,曾纪泽一语粉碎了沙俄的野心:"倘两国不幸有失和之事,中国以兵威来索土地,则何地不可索,岂独伊犁乎!"
在这次交涉中,清政府一直没有被咄咄逼人的沙俄所吓倒,1881年2月,中俄《改订条约》(又称中俄《圣彼得堡条约》或中俄《伊犁条约》)签订,该条约虽然仍是个不平等条约,但中国虎口夺食,从沙俄手中争回了不少领土,也巩固了新疆西北部的边防。
