在此后的十年间，局势也发生了一些转变，谢安也在这个期间进入朝中担任吏部尚书一职，奠定了在朝中的地位。

淝水之战，是陈郡谢氏家族的高光时刻，谢玄和谢安带领北府兵击溃前秦军队，挽救了东晋的江山。

太元二年（377年），北方的前秦在苻坚的治理下日益强盛。

手握人事大权的谢安，不顾朝野议论，力荐自己的侄子谢玄出任兖州刺史，以镇守广陵，负责长江下游江北一带的防御工作。谢安自己担任扬、豫、徐、兖、青五州的大都督。侄子谢玄也不负叔父重托，在广陵挑选良将，训练精兵，选拔了刘牢之、何谦等人，并训练出了赫赫有名的北府兵。