京杭大运河的真正贯通还是在隋朝。隋炀帝时期，据说炀帝为了到扬州看扬州的琼花，也为了解决京都长安和东都洛阳的交通与供水和南粮北运的问题，开凿京淮段至长江以南的运河，以东都洛阳为中心，大规模修建运河。于公元605年开成通济渠，即从洛阳西苑引谷、洛二水入河，又从黄河南岸的板渚引河入汴，至开封近郊与汴渠分流，经商丘、宿州、泗县至盱眙道上入淮。这条斜贯淮北的通济渠，不仅裁直原汴渠、泗水的弯路，也避开了泗水道上吕梁、徐州二洪之险。公元608年，又在黄河北岸引黄河水，开挖永济渠。与此同时，又将古邗沟和六朝的古运河故道扩宽，一直通达到杭州。至此，一条南起杭州、北至北京，全长2400余公里的大运河在隋朝建成。到元朝时，元定都大都（今北京），必须把粮食从南方运到北方。为此先后开凿了三段河道，把原来以洛阳为中心的隋代横向运河，修筑成以大都为中心，南下直达杭州的纵向大运河。扬州是里运河的名邑，隋炀帝时在城内开凿运河，从此扬州便成为南北交通枢纽，藉漕运之利，富甲江南，为中国最繁荣的地区之一。
据说通济渠的开凿工程完成后，隋炀帝便率领十多万人浩浩荡荡地乘船南下巡游江都（今江苏扬州）。炀帝自己乘坐的是四层高的大龙舟，龙舟高四十五尺、长二百尺，而皇后所乘坐的是翔螭舟，体积较龙舟小。另又有浮景船九艘，后宫妃嫔、诸王、公主、百官、僧尼、道士、蕃客分别乘的各种舟船和运载供需的舟船共数千艘。船队前后相接200余里。所经郡县500里内皆令百姓供应饮食。
除了隋炀帝，清朝乾隆皇帝下江南也数次取道京杭大运河。明清时期江南水运事业发达，运河担负着商品流通和漕运、旅行等繁重运输任务。随着商品经济的发展，城市也更加繁荣。北京、南京、苏州、杭州、扬州等著名大城市都很繁华。如苏州“五方杂处，人烟稠密，贸易之盛，甲于天下”，“洋货、皮货、绸缎、衣饰、金玉、珠宝、参药诸铺，戏园、游船、酒肆、茶店，如山如林，不知几千万人”。这种情景在清宫廷画师徐扬绘有的一幅反映当时姑苏繁华风貌的写实性长卷《盛世滋生图》中有形象的反映。“六度南巡止，他年梦寐游。”这是乾隆第六次南巡写下的诗句，可以看出他连做梦都在回味通过京杭大运河下江南时的情景，充满了眷恋。
公元1291年，元朝新建了大都，也就是今天的北京。为了完成漕粮北运的任务，元朝除积极发展海运外，还先后用了十几年时间，进一步疏通了南北大运河，使维系统治者生命的粮赋可以源源不断地水运至通州。从通州至大都，每年几百万石漕粮的转运任务仍十分艰巨。通州至大都的北线运河运力不足，只得依靠陆路运输，而遇秋雨连绵季节，道路泥泞难行，“驴畜死者不可胜计”。
解决大都水源，开发通惠河工程的宏伟规划便应运而生，并经过二年施工，于公元1293年的秋天竣工。当一支满载江南漕粮的船队浩浩荡荡驶入大都城内的积水潭，元世祖忽必烈兴高采烈地给这段通州至大都的运河赐名为“通惠河”。负责这段运河规划、设计、施工的“总工程师”就是中国元代最著名的科学家、水利专家郭守敬。
元、明、清三朝均在北京建都，北京位于华北大平原的北端，而漕粮又多取之于长江下游。京杭大运河对当时统一的中央集权统治起着巩固的作用，有力地促进了全国地区间经济、文化的交流，促进了沿岸地区的经济发展，巩固了国家军事防务。
京杭大运河也为唐、宋经济繁荣和政治稳定做出了不可磨灭的贡献。然而它也在逐渐衰败着。在南宋时期偏安江南的150多年时间里，中原战乱频繁，黄河大堤决口无人治理，黄河水挟带的大量泥沙淤塞了黄淮海平原许多河道和湖泊，大运河的通济渠和永济渠段也在所难免。12世纪宋金对峙之初，通济渠和永济渠就很不畅通了。清朝末年，黄河北徙，在苏北留下了被完全打乱的水系、几近淤废的下游淮河和京杭大运河的苏北段，漕督、河督相继撤销，漕粮被迫改由海运。新中国成立以后，京杭大运河苏北段经过几次大规模整治，已经河阔水深，但是随着现代交通的发展，大运河两岸的人们更多的是过着平静悠闲的生活，津津乐道那些传奇的故事。