隋炀帝的残暴统治，特别是繁重的徭役和兵役的征发，使大量的丁壮劳动力脱离了农业生产，导致了“耕稼失时，田畴多荒”。“黄河之北，则千里无烟；江淮之间，则鞠为茂草”。农村荒芜残破，城市也日益萧条，以至出现了“城郭则万户空虚，烟火则千里断绝”的凄凉景象。仅在山东一带，为高丽战争运粮的手推车夫就征发了六十多万人。二人共推一车，装米三石，路途遥远，沿途又没有给养，运送的米还没有到达目的地，就已经吃光。这些人只好逃亡山泽，俟机举义。人祸惨烈，天灾无情。611年，山东、河南等地大水灾，淹没三十余郡；613年山东又大旱，疾疫流行，死亡甚众。在暴政和天灾的交迫下，农民苦不堪言，简直无法生活下去了。
大业七年（611年），自称“知世郎”的王薄拉起队伍，占据长白山（今山东邹平南），首举义旗发难。邹平人王薄曾作《无向辽东浪死歌》：
长白山前知世郎，纯著红罗锦背裆。
长⑶痔彀耄轮刀耀日光。
上山吃獐鹿，下山吃牛羊。
忽闻官军至，提刀向前荡。
譬如辽东死，斩头何所伤！
王薄的反隋口号，很快得到广大贫苦农民的响应，点燃了隋末农民大起义的熊熊烈火。
大起义的规模是空前的。时间长达十三年，人数动辄数万、数十万，累计有几百万人。地域除巴蜀以外，均有起义军的足迹。在起义队伍中，除被压迫者外，各色各样的人都有，许多贵族阶层的人物也混入其中。
经过数年奋战，起义军汇聚成三支强大的队伍，这就是翟让、李密领导的瓦岗军，窦建德、刘黑闼领导的河北起义军，杜伏威、辅公领导的江淮义军。
瓦岗军的创始人是翟让，因事被判为死囚，得狱吏黄君汉帮助越狱成功，于611年据瓦岗寨（今河南滑县南）起义，义众勇敢善战。不久，单雄信、徐世俊⑼醪当等加入义军。瓦岗寨紧靠永济渠，义军截取运河中往来的官私船只，取得大批粮食等物资，势力不断壮大。616年，贵族李密由王伯当荐引也加入瓦岗军。李密曾参加过杨玄感起兵，是他的谋主。李密加入义军后，联络并说服附近一些小股义军归并于瓦岗军；又建议采取积极进攻的策略，占据了威胁通济渠的荥阳，并设伏消灭了张须陀率领的精锐隋军二万多人，取得荥阳大捷。
瓦岗军又于次年攻占了巩县的洛口仓，开仓救济了上百万饥民，义军发展到数十万人，屡败隋军，几乎控制了河南全境，隔断了炀帝北归的道路并对东都洛阳形成包围。瓦岗军还发布讨炀帝的檄文，历数其十大罪状。檄文说：“罄南山之竹，书罪无穷；决东海之波，流恶难尽！”这已成为千古流传的名句。
正当瓦岗军节节胜利之时，贵族子弟出身的李密于617年十一月，以设宴为名，阴谋杀害了翟让，造成起义军内部分裂。从此瓦岗军开始走向失败的道路。
隋炀帝害怕瓦岗军，生怕自己成为瓮中之鳖，躲在江都，不敢回洛阳。他的禁卫军被江淮义军击败，彻底地打破了他保据丹阳宫终老的迷梦。炀帝经常坐卧不安，惊慌万分，他对他的老婆萧后说：“外间大有人图侬。”他幻想能保住狗命，能像陈后主那样投降后被封为长城公。后来的形势更加对他不利了，他引镜自照，长吁短叹：“好头颅，谁当斫之？”618年三月,怨愤的禁卫军将领宇文化及，利用禁卫军思归关中的心理发动政变,攻入宫中,用素帛勒死了隋炀帝。隋朝至此实际灭亡。
宇文化及杀死炀帝后，率军十余万北归。此时李密久攻洛阳不下，又不听从部下直取关中的建议。618年秋，瓦岗军与宇文化及军大战于洛阳附近的童山，双方损失惨重。这时，龟缩在洛阳的王世充乘瓦岗军伤亡巨大、久战疲惫之机，对其发动突然袭击。李密战败，率军二万余人入关，投降了李渊。至此，瓦岗军便告失败。李密不久被杀。
我们在小说中熟悉的窦建德其实是农民出身，他因帮助过贫苦农民出逃并参加义军，全家被杀。后来他组织河北义军，队伍发展到十余万人，屡次打败隋军。618年五月，改称夏王。次年俘斩宇文化及父子。李密失败后，山东地区的义军都归附于窦建德，夏政权成为各地义军的旗帜。621年二月，窦率义军与李世民的唐军激战于虎牢，兵败被俘，后被杀害于长安。河北义军首领刘黑闼原是窦的部将，窦死，刘于621年七月重树义旗反唐，连败唐军。次年，刘称汉东王，定都洛州。三月败于李世民，后刘率部南下，十一月遭李建成、李元吉镇压，于623年兵败洛州，壮烈牺牲。江淮义军辅公于623年在丹阳称宋帝，次年在唐军进攻下兵败被杀。
隋末农民大起义失败后，李渊窃取战争果实，建立了历时近三百年的唐朝。