刘锦棠将计就计，派人佯装走大道，实际上悄然走黄田。白彦虎正准备偷袭，却被突然杀来的西征军反偷袭。黄田叛军一触即溃，西征军乘势追击，1876年8月17日，历时5昼夜的狂攻，西征军用德制的后膛炮攻破古牧地城池，以伤亡600人的代价歼敌6000余人。
第二天，刘锦棠率兵长驱大进，直捣乌鲁木齐。阿古柏听到乌鲁木齐危急，急忙派兵增援，但还没到乌鲁木齐，就听说城池失守，白彦虎仓惶逃往南疆。西征军3个月就收复了北疆。
丢失北疆之后，阿古柏企图借天山天险，靠着英国的支持死守南疆。1877年4月，休整了一冬天的西征军主力悄然从乌鲁木齐出发，直奔达坂城。南下之前，左宗棠再次申明纪律，严禁杀掠，对于依附敌人的各族同胞，只要真心反正，一律宽待。
达坂城是通往南疆必经之路，其得失关乎全局。4月17日，西征军包围达坂城，却苦攻不下。就在这时，城内的维吾尔族群众冒死送出情报，说城内守军准备弃城而逃。西征军得到情报，坚定了攻城决心。19日夜，西征军攻下达坂城，阿古柏心腹爱伊德尔胡里等1200余人被活捉。刘锦棠把俘获的敌人押赴肃州大营，但对被胁迫附敌的各族同胞一律发放衣物粮食，送回原籍。几天后，刘锦棠进抵托克逊。托克逊城中的维吾尔族同胞冒险出城报信："敌人听到达坂城失守，惶恐至极，正在各处烧杀劫掠，准备逃跑。希望官军速进，解救百姓。"刘锦棠当即下令西征军进攻托克逊，敌人望风而逃。
托克逊之战后，南疆门户大开，阿古柏精锐部队折损大半，他感到十分惊恐。维吾尔族同胞对阿古柏的残暴统治早已深恶痛绝，听说西征军要来了，相互转告，准备配合。阿古柏知道大势已去，日夜哭泣，最终服毒自杀。阿古柏死后，他的儿子相互争斗，西征军则继续扫荡残敌。
1877年10月，刘锦棠大军进攻库尔勒，白彦虎掘开开都河，妄图阻止大军前行。当地蒙古族老百姓主动给西征军当向导，找到开都河的浅滩处，西征军顺利渡河。刘锦棠大军进入库尔勒城后，发现已是一座空城，粮草供给断绝，又是当地维吾尔老百姓带西征军找到了白彦虎藏粮的地点。白彦虎向阿克苏逃亡，结果城内百姓紧闭城门，不许其入城。但等到刘锦棠大军一到，百姓立即夹道欢迎。1878年1月，西征军收复和阗，盘踞新疆12年之久的阿古柏匪帮终于被全歼，新疆回到了祖国怀抱。
抬棺出征，收回伊犁
收复天山南北两路后，只剩下伊犁仍被俄国占据。俄国原本声称"代清朝占领伊犁"，一旦清军收复北疆就立即归还。但在西征军平定南疆后，俄国仍拒绝交还伊犁。1878年10月，清政府派吏部侍郎崇厚为全权大使，赴俄国交涉，索还伊犁。
尽管左宗棠对清政府靠外交谈判索还伊犁有些看法，但也无力改变朝廷的主意。崇厚是个胆小平庸的人，在俄国的恐吓下，他竟然擅自和俄国签订了《里瓦几亚条约》。按照条约，俄国虽然交还伊犁，但割去霍尔果斯河以西、特克斯河流域等战略要地，使得伊犁以西、以南险要尽失。
消息传来，全国哗然，纷纷要求处斩崇厚，废除条约。西北前线的将士们群情激奋，刘锦棠认为："非决战阵，别无善策。"左宗棠在奏章中愤怒地说："武事不竟之秋，有割地求和者矣！"由于左宗棠和前线将士的决心，也因为全国上下的坚决反对，朝廷在崇厚回国后，将他交刑部治罪，定为"斩监候"。1880年2月，清廷派曾国藩的儿子、驻英法大使曾纪泽前往俄国重新订约，同时命左宗棠统筹新疆南北的战守事宜。左宗棠调兵遣将，定下了兵分三路，武力收复伊犁的策略。
此时，左宗棠已是68岁高龄，经略西北已经10多年。虽然他精力旺盛，但多年戎马，身体毕竟不堪重负。由于水土不服，他全身长满风湿疹子，奇痒不止，夜里难以入睡。左宗棠本来就有咳血的毛病，在西北越来越重，有时候早上起床时，吐血不止。他甚至担心自己的身体出不了玉门关。但他很明白，要索回伊犁，自己必须出关远征。一旦谈判破裂，和俄国的战事恐怕一两年内难以结束，自己即便出了玉门关，能否活着回来就不好说了。
1880年5月26日，左宗棠率领亲兵1000余人离开了肃州大本营，向新疆哈密进发。抱病出征的左宗棠命人抬了一口空棺材，跟在自己身后，表明战死疆场的决心。这位年近古稀的老将为收复国土抬棺出征的壮举，不但极大地激励了将士们的士气，更令无数后人感动落泪。
3天后，左宗棠到达玉门关。他不仅不觉得寒苦，反而兴致很高地说，自己虽然比不了年轻人，但这次为国效命，"孤愤填膺，诚不知老之将至！"
与此同时，曾纪泽也抵达圣彼得堡，开始与俄国谈判。俄国在谈判中虽然蛮横无理，几次恐吓曾纪泽要开战。但是得知清军在前线调动频繁，左宗棠又抬着棺材到了新疆，俄国也不敢贸然动武，伊犁前线一时处于相持状态。
然而左宗棠没有想到的是，正当自己决意一战时，朝廷却动摇了。俄国在中国西北和东北增兵，使得清政府慌了手脚。加上李鸿章请来英国人游说，清政府连忙召开紧急会议，商讨伊犁问题。当时，力主收复新疆的文祥去世，李鸿章的意见占了上风，同时英、法、美等西方国家又对清政府严惩崇厚一事提出抗议，清政府动摇了。
