宋太祖趙匡胤經過「杯酒釋兵權」，同時又采取其他的一些辦法，這樣，宋朝的政治大權、軍事大權和財政大權都被宋太祖牢牢控制住了。這時候，宋朝再也沒有另一個能和宋太祖爭一爭的了，他們連想都不敢想。
有人該問了:「宋太祖這時候可該睡上安穩覺了吧?」錯了，宋太祖是越來越睡不著了。原來，在中國這片廣大的土地上，當時還有許多大大小小的國家，有許多皇帝。在宋朝的北面有遼國;西北面有北漢，都城在太原。淮河、長江以南的小國更多了，有吳越、南漢、南唐、南平(荊南)、後蜀等小國。宋太祖想:「天上只有一個太陽，地上也應該只有一個皇帝，我應該像秦始皇、唐太宗李世民一樣統一中國。」宋太祖把自己的弟弟和趙普叫來，宋太祖的弟弟叫趙匡義，當趙匡胤做了皇帝，趙匡義就改名為趙光義了。宋太祖對他們倆說:「大丈夫應該有遠大的誌向，朕準備派兵滅掉周圍這些小國。你們看這仗該怎麽打?」
趙普說:「北方的遼國勢力很大，不好打。南方的國家地盤小，兵也少，容易打。另外，南方很富裕，如果打下了南方，我們就能得到很多糧、很多錢，我們大宋的力量會越來越強，然後再派大將打北漢和遼，萬歲以為如何?」
趙光義接著說:「南方小國之間鬧矛盾，心不齊，我們正好一個個把它們消滅掉。」
宋太祖最後說:「二位說的和朕想的一樣，我們就來個先南後北!」
三個人又商量了一陣，決定先攻打離宋最近的南平國，南平國的都城在江陵，地盤在現在的湖北中西部。為什麽先攻打南平呢?一是南平勢力最小，二是它位置重要，向西向南向東都可以出兵。可是這裏有一個問題，攻打別的國家得有一個理由，平白無故地打別人可不行。
公元962年，武平節度使周行逢病死了。周行逢占領著南平國南邊的湖湘地區，雖然他沒有稱皇帝，但也和皇帝差不多。11歲的周保權繼承了父親的位置，但是鎮守衡陽的大將張文表聽說周行逢死了，便起野心，出兵攻打周保權。周保權聽到訊息嚇壞了，一面派大將去抵擋，一面派人到大宋求救兵。
宋太祖一聽，說了一聲:「老天有眼!」這真是想什麽來什麽呀!趙普說:「派兵去救周保權，必須經過南平，如果南平借路讓我們過去，我們就順手牽羊，把它滅掉;如果不讓我們過，我們就說南平勾結張文表，這樣就可以名正言順地攻打它。」
公元963年,宋軍由慕容延釗和李處耘帶領向南進軍。南平開城門讓宋軍透過，宋軍毫不客氣地把南平滅掉了。
打下南平，宋軍繼續向南，分水陸兩軍，沿江而下。這時候，周保權派的軍隊已經把張文表殺了。周保權派人到宋營中，請他們退兵回去，宋軍怎麽甘心回去呢?他們大罵周保權戲弄了大宋朝，李處耘領兵占領了鼎州(今湖南常德市)，周保權逃跑，後來被宋軍抓住，成了俘虜。
宋軍旗開得勝，宋太祖高興極了，他沒有滿足，看準了下一個目標:後蜀。
四川自古被人稱為「天府之國」，物產豐富，經濟繁榮，當時南方各國中後蜀是數一數二的大國。可是後蜀的統治者只知道剝削人民，吃喝玩樂。皇帝名叫孟昶，昏庸無道;宰相李昊和面團一樣，什麽事他都不大愛管，後蜀的大權掌握在王昭遠手中。王昭遠是一個只知吹牛皮的家夥，自己會背幾句兵法，就認為自己比諸葛亮還厲害，真是不知天高地厚。
當後蜀的君臣得知宋軍攻下了南平，抓住了周保權，他們就派人和北漢聯系，想共同攻打北宋，他們沒想到密信被宋軍查出來了，這樣宋太祖又有了理由。公元964年11月，宋軍分兩路由開封出發，北路軍由大將王全斌、崔彥進率領;東路軍由劉光義、曹彬率領。
12月份，天漸漸冷了。這一天，從京城來的使者追上了王全斌的部隊。原來，宋太祖看到京城下雪，想起了打仗的士兵。他就拿出自己的貂皮帽，派人送到軍隊中去。兵卒們看到貂皮帽，心中都十分激動。一個兵卒大聲喊:「弟兄們，咱們一定要好好打仗呀!」大家齊聲歡呼起來。
和宋軍相反，那個愛吹牛的王昭遠聽說宋軍兩面進攻，他反而高興起來。認為自己有了露臉的機會，他對蜀主孟昶說:「萬歲只管放心，有我王昭遠在，宋軍不算什麽，臣不但要滅掉宋軍，而且還要拿下宋都汴梁。」
然而只會紙上談兵的王昭遠和宋軍打了3仗，敗了3仗，遺失了大片土地，他連忙躲進劍門關去了。
劍門關位置十分險要，沒有平路，盡是一級一級的石頭台階，人們稱為天梯。劍門關是一個人守關，一萬個人也難打下來。王昭遠認為平安無事了。可是宋軍卻悄悄沿小路打進了劍門關，王昭遠連忙逃跑，他藏在一個屋子裏嚇得嗷嗷直哭，最後還是被抓去當了俘虜。
東路軍也很順利，後來兩軍將成都包圍，蜀主孟昶看著這麽多宋軍，長嘆了一口氣，對宰相李昊說:「你就寫一份降表吧。」這樣後蜀也就滅亡了。
滅了後蜀，宋太祖以潘美為帥，領兵攻打南漢，時間是在公元970年9月。南漢的地盤在廣西、廣東部份地區，南漢國主劉，十分殘暴，讓人和老虎打架，看到大象用鼻子把人卷起來，活活地摔死，他坐在旁邊拍手叫好。他用各種酷刑折磨人，南漢的百姓都恨劉恨得牙根疼，早就想把他趕下台。劉帳把能打仗的將軍，不是殺了，就是撤職。他任用幫糊塗蟲，這些人一見宋軍都紛紛投降。劉見宋軍來了，就連忙準備船，要下海逃跑,可一些大臣不顧劉,自己先逃了，劉無可奈何，只好投降。
宋軍真是連連勝利，下一個就輪到南唐了，南唐的地盤比較大，但力量很弱。南唐的國君是很有名的，這不是因為他有本事治理國家，而是他會寫詞，是個文學家，對國家大事卻不聞不問，他的名字叫李煜。李煜的父親李璟當國君的時候，就對宋很尊敬，每年都送去很多金銀玉器。李煜繼位，對宋更尊敬，他將國號去掉，自稱江南國主。李煜萬萬想不到宋軍會來打他。何況，當年宋軍攻打南平、後蜀時，南唐還支持大宋，出過力呢。
但宋太祖顧不上這麽多，打下了南漢，可以說宋軍三麪包圍了南唐。公元974年9月，曹彬率領10萬大軍，向南唐撲來。
李煜認為有長江天險，宋軍就是插上翅膀也過不來，因此他在宮中繼續喝酒玩樂。
可是宋軍派人坐船量了長江的寬度，用船搭了座浮橋，宋軍就這樣渡了江，把南唐國都金陵(現在江蘇南京市)得嚴嚴實實，而李煜還不知道呢!
李煜看到裏三層外三層的宋軍，魂都飛了，這時身邊一個文臣站了出來，他說自己要找趙匡胤講理去，李煜一看是徐鉉。
在開封，徐鉉對宋太祖說:「我主李煜已經對宋稱臣，就像兒子侍奉父親，沒有犯錯誤，為什麽你還要打我們呢?’宋太祖一聽，滿臉的不高興:「那麽父子就可以分成兩家嗎?天下是一家，朕的睡床上,怎麽能讓別的人睡覺呢?!’
徐鉉再怎麽說也沒用了,無可奈何地回到金陵。11月,宋軍打下金陵，李煜投降，南唐就這麽結束了。
吳越占據了浙江、江蘇的一些地方，國君是錢俶。錢俶像李煜一樣，對宋朝也是像哈巴狗一樣。當宋軍攻打南唐的時候，李煜曾寫信給錢俶，讓他派救兵,可錢俶不愛答理，李煜在第二封信裏說:「今天沒有了我,明天也不會有你!你早晚也得成為開封的一個平民!」
李煜說得實在太對了，宋太祖沒有派兵打吳越，只是叫錢俶來了一趟開封，然後嚇唬了錢俶一頓，這位國君非常害怕，回去後派人給大宋送去許多財物，宋朝說什麽，錢俶聽什麽，吳越實際上不再是一個國家了。
宋太祖最後派兵消滅了福建等地的一些政權，南方基本上統一了。
盡管趙匡胤當皇帝不太光彩，可是他從公元963年開始，到公元976年止，用了13年的時間，消滅了南方的割據政權，完成了南方的統一。
