北府是东晋孝武帝初年谢玄组建训练的军队。太元二年，朝廷因前秦强大，诏求文武良将镇御北方。朝廷拜谢玄建武将军、兖州刺史，领广陵相、监江北诸军事，镇广陵，召募劲勇，徐（治京口）、兖（治广陵）人民纷纷应募入伍。谢玄以刘牢之为参军，常领精锐为前锋，战无不捷。太元四年，谢玄加领徐州刺史，镇京口。东晋称京口为“北府”，所以称这支军队为北府兵。