宋太祖一方面在统治区内实行“强干弱支”的措施，以巩固中央集权，另一方面发动了统一全国的战争。
根据当时的政治和军事形势，宋王朝决定放弃周世宗后期的全力北伐的方针，改而实行先易后难、先南后北的统一战略。为了防止北方的辽国和北汉联兵南下，宋太祖分派将领驻守北边和西北各州，对辽和北汉采取守势，对于经济比较富裕的南方各国，则采取攻势，实行各个击破。
统一战争在公元963年拉开序幕。这年正月，宋太祖以讨伐湖南叛将张文表为名，派慕容延钊率兵借道荆南，进攻湖南，乘机灭亡荆南。荆南是朱全忠的役夫高季兴于924年建立的政权，国力较弱，物产不丰。荆南国主采取对四周称帝的各国“所向称臣，利其赐予”的策略，又因荆州是当时全国最大的茶市，商人南来北往，统治者对过境货物时常“邀掠”，如有告发，就立即归还，所以周边各割据政权称荆南为“无赖子”。宋军抵达江陵，当时的国主高继冲仅拥兵三万，被迫缴械投降。随后，宋兵乘胜攻占湖南。
公元964年十一月，宋太祖派大军入川伐后蜀。十国中的前蜀政权在公元925年为后唐所灭，后蜀的建立者是孟知祥。他原是后唐官吏，乘后唐之乱，自立为帝。传子孟昶即位时，政治十分腐朽，生活糜烂，连孟昶用的溺器也用珠玉八宝装饰，费钱百万。因此，虽北有剑阁、东有三峡之险，由于将帅无能，与宋军三战三败。公元965年正月，宋将王全斌兵抵城下，孟昶献表投降。
公元970年，宋太祖选潘美为帅，进攻南汉。南汉是封州刺史刘隐乘黄巢起义大军离开广州北上、广州兵变之机于公元917年建立的政权，占据广东、广西南部和湖南南部。当时的南汉由宦官专权，国主刘伥听说宋军南下，把美女和金银财宝装在数十只大船上，企图入海逃跑。结果，那些大船和装载物品都被宦官用计盗走。刘伥无法，只得率领官员投降。
宋王朝灭亡南汉后，兵锋直指南唐。南唐的建立者是李,他是一个流浪儿，曾为杨行密的养子，后来又是徐温的养子，因名徐知诰。他自称是唐朝李氏的后裔，拥兵自立后，国号为唐。有人曾劝李食霰略地，他说：“吾少长军旅，见兵之为民害深矣，不忍复言！”他注意与民生息，发展农业生产，扩大和增加圩田，鼓舞农民多多垦种，栽桑养蚕。经过努力，经济富裕。这是一个江南大国，占据今江苏、安徽淮河以南和福建、江西、湖南和湖北东部，但军力很弱。赵匡胤建宋时，南唐即遣使进贡，表示恭顺。南汉灭亡后，南唐后主李煜更是恐惧，立即上表，自愿削去南唐国号，改称“江南国主”，并不断向北宋贡献大批财物。
公元974年九月，宋太祖派曹彬、潘美率军十万伐江南。李后主闻讯后，即派徐铉去向赵匡胤求情，徐铉辩论不已，说江南无罪，不应讨伐。赵匡胤按剑发怒说：“不须多言，江南也有何罪，但天下一家，卧榻之侧，岂容他人鼾睡！”
翌年二月，宋大军包围南唐都城金陵（今南京市），拒绝了李后主提出的缓兵要求，歼灭了南唐的援军，于十一月攻陷金陵。
金陵城防被突破时，据说李后主还在赋诗填词呢。宋兵杀到了皇宫，他只好搁笔，率领群臣出降。
李后主是一个纵情声色、滥杀忠良的昏君，是一个政治上的糊涂虫，但他却是我国文学史上的天才人物。他文才超群，诗词独领风骚，令后世称道。清人王国维说：“词至李后主而眼界始大，感慨遂深。”
当李后主被押送过江时，他回首金陵，泪如雨下，作诗一首：
江南江北旧家乡，三十年来梦一场。
吴苑宫闱今冷落，广陵台殿已荒凉。
云笼远岫愁千片，雨打归舟泪万行。
兄弟四人三百口，不堪闲坐细思量。
李后主成为亡国之君后，宋太祖在世时，没有杀他。这一时期的阶下囚生活，使他思前想后，感慨万端。他留下了不少令人心碎的千古佳词，如“独自莫凭栏，无限江山，别时容易见时难。流水落花春去也，天上人间！”又如《虞美人》：
春花秋月何时了？往事知多少！小楼昨夜又东风，故国不堪回首月明中。雕阑玉砌应犹在，只是朱颜改。问君能有几多愁，恰似一江春水向东流！
到了宋太宗在位时，他不能容忍李后主的悲歌四处流传，公元978年七月初七乞巧节，这一天是李后主四十二岁生日，宋太宗以祝寿为名，赐上一杯毒酒，一代词人结束了生命。
宋太宗与宋太祖是同胞兄弟，初名匡义，宋建国后改名光义。他长期与他兄长一起南征北战，为建立宋朝立有汗马功劳。雄心勃勃的宋太祖在南方即将平定时，于开宝九年（976年）十月二十日凌晨在“烛影斧声”中突然撒手人寰，享年仅五十岁。继承皇位的不是宋太祖的长子，而是他的弟弟赵光义。后人多认为是赵光义借柱斧落地、烛影摇曳时亲手杀死了宋太祖，迫不及待夺取了皇位。不管怎么说，宋太宗死后，皇位由他的嫡系下传，一直延续近二百年。直到南宋宋高宗时，因无子可立，才选立太祖的后裔为太子，即历史上的宋孝宗。这是后话了。
宋太祖去世后，未竟的统一事业由宋太宗继续完成。
当时还有割据两浙的吴越政权，由参加镇压农民起义的钱于907年建立，都城在今杭州。钱注意发展农业生产，曾修筑著名的浙江海塘，有“海龙王”的美誉。他保境安民，谨慎守业，在乱世之中，的确不易。宋建立后，吴越也和南唐一样向宋进贡，连年不断，后来还出兵五万，助宋进攻南唐。976年二月，吴越国王钱嗽亲自到汴京朝见宋太祖，对宋朝完全唯命是从。因此，宋太祖没有马上用兵。宋太宗继位后不久，割据漳、泉的陈洪进已纳土归附宋朝。钱似扔谛问疲只得把所属十三州一军八十六县之地于978年三月“献”给宋朝，削去吴越封号。至此，宋朝完全统一了南方。
按照“先南后北”的统一战略，宋太宗便移兵北方。
979年，宋太宗统帅大军，亲征北汉，派遣潘美等围攻都城太原，在白马岭击败了辽朝的援兵，使北汉断绝外援。五月，北汉国主刘继元被迫出城投降。
至此，五代十国的分裂割据局面，经过宋太祖和宋太宗的十六年的统一战争，遂告结束，而北宋与辽王朝的对峙之势即将到来。