东晋孝武帝太元二年（377年），由于前秦已一统北部中国，东晋王朝受到空前的军事压力，因此诏求良将镇御北方。当时的重臣谢安遂任命其侄子谢玄应举。朝廷任命谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事，镇广陵。其时广陵和京口聚居着大量逃避北方战乱而来的流民，谢玄到任后，在流民中选拔骁勇士卒，建立了一支军队，太元四年（379年），谢玄改镇京口，因为当时京口又名北府，故其所率军队得名北府兵。
太元八年（383年），北府军在淝水之战中一举击败前秦大军，刘牢之一度追到邺城，由此名声大振。晋安帝元兴元年（402年），北府军奉命征讨在荆州割据的桓玄，刘牢之投降桓玄。桓玄称帝后大大削减了刘牢之的兵权，刘牢之欲起兵反抗，但已众叛亲离，最后自杀而亡。元兴三年（404年），原北府军参军刘裕率余部在京口起兵，杀死桓玄。此后，北府军成为刘裕的军事支柱。420年，刘裕废东晋恭帝司马德文，自立为帝，建立大宋政权，北府军成为其皇家军队的中坚。
