一月之后，苻坚之弟苻融所率前锋一举攻陷寿春（今安徽寿县），兵锋正锐。他们以淮河作为屏障来遏制东来晋军。谢石、谢玄等人畏惧秦军，不敢贸然前进。
随后，苻坚亲率八千轻骑，日夜兼程赶来。他想“不战而屈人之兵”，便派尚书朱序去游说谢石、谢玄，劝他们速速投降。朱序本为晋臣，早想归顺东晋，便暗中对谢石、谢玄说：“秦军不下百万，但现在还未到齐。如果全到齐，确实无法对付。所以速战速决，若将其前锋部队打败，晋军就会士气高涨，便能一鼓作气击溃秦军。”谢石踌躇未决，谢玄等人很为赞同，辅国将军谢琰道：“机不可失，敌不可纵，不能犹豫！”谢石乃从其议，并嘱咐朱序作为内应。
十一月，谢玄派龙骧将军刘牢之率精兵五千夜袭驻扎在洛涧（今名洛河）的秦军，斩杀守将十人、士卒一万五千人，击溃秦军五万人。谢石、谢玄等人乘胜率兵水陆并进，直逼淝水。
苻坚得到洛涧战败的消息，登城遥望，见晋军队列整齐，如潮水般汹涌而来，不禁大惊。再向东南边八公山眺望，他将漫山遍野的草木都当作晋军兵马，惊愕道：“此亦劲敌，何谓弱也？”心里开始惧怕，但已骑虎难下，便下令各军出寿春城，至淝水沿岸布兵，严阵以待。
谢玄见秦军布满对岸，无法渡河速战，便派使者对苻坚道：“你孤军深入，志在求战。但现在逼水为阵，使我军不能渡河，此乃持久之计，何谈打仗！请贵军稍稍后退，让我军能渡过淝水与贵军决一雌雄。”
秦军众将领道：“不能从其要求。敌寡我众，不如将他们遏制在岸上，使其不能过河，此为万全之策。”苻坚求胜心切，反驳道：“我军远来，利在速战。可以允许晋军渡河，我军稍稍后退，待晋军渡河至一半时，我军迅即围杀，岂有不胜之理？”苻融赞同苻坚的决定，于是指挥部队后撤。
原先如铜墙铁壁矗立在淝水岸边的秦军，突然接到后撤令，便掉头往后跑。许多人不知为何后撤，只见众人往后跑也跟着跑。此时晋军已一边渡河，一边用强弓射箭。身在秦军中的朱序突然一声大喊：“秦军败了！快逃！快逃！”吓得不明真相的士兵，真以为秦军因战败而向后逃，于是都跟着向后狂奔起来。苻融等人想拦也拦不住，反被人群冲倒在地。晋军赶来，杀伤杀死无数，苻融也成为刀下鬼。
于是秦军大乱，全线崩溃。逃跑的人自相践踏，被踩死者不计其数，尸体遍野，甚至堵塞了河流。逃跑的秦军一路不敢停留，听见风声鹤唳，以为是晋军追来。苻坚本人身中流箭，单枪匹马逃到淮河以北，清点残兵败将，所剩不过十之二三。晋军穷追不舍，直到收复寿阳才收兵。
谢石、谢玄派人将淝水大捷的喜讯急报谢安。谢安正在府中与人下棋，看过捷报之后，便放在案几上，脸上并无一点喜悦神色，接着下棋如故。客人问他何事，他才慢慢回答：“众小辈已将敌寇打败了。”客人起身祝贺，谢安仍无喜色，邀请客人将棋下完。待下完棋，客人离去后，谢安走进里屋，过门槛时，因兴奋至极，将木屐齿折断了，他竟全然不觉。
淝水战后，前秦瓦解。公元384年，鲜卑族贵族慕容垂自己称帝，建立后燕。公元385年，羌族贵族姚苌杀死苻坚，占据长安，自称秦帝，建立后秦。公元386年，鲜卑贵族拓跋督立北魏，年号登国。北魏政权建立的制度在后来对我国影响较大。同时，其他少数民族贵族也纷纷独立，建立割据政权。北方又重新陷入分裂混战的局面。