刘琨得知司马睿称帝，便找到段氏鲜卑歃血为盟，说服他们一同拥护东晋，还派遣外甥温峤前去建康（南京）向司马睿献表投诚。温峤的母亲不愿他离去，死命拽着他，把袖子都扯断了，但他还是坚决地走了，直到母亲去世都没能再回来。等到了建康，王导和周顗等人十分欣赏他，争相与他结交。
但之后风云突变，段氏发生内讧，段末柸联合刘琨想要偷袭自己的哥哥结果失败，导致刘琨反被牵连杀害。东晋朝廷因为忌惮鲜卑的强悍，不敢给刘琨举行葬礼，最后在温峤的强烈坚持下，加上段末柸数次上书为刘琨喊冤，才在多年后追封了他。段氏鲜卑也因为刘琨的死而丧失民心，日渐衰落，两年后被石虎所灭。
前汉刘聪病逝，安排太子刘桀继位，任命刘曜为丞相，石勒为大将军。谁知刘聪刚死，国丈靳准就发动叛乱诛杀了刘桀，还将刘氏宗族尽数屠灭——靳准为了这次叛乱筹划多年，先帮刘桀除掉其他继承人来赢得信任，然后以宗亲大臣密谋改立为由铲除异己。等到一切都做完，他便带领亲兵闯入后宫，此时已经没人能够保护刘桀。
刘桀死后，靳准召集百官说道：“自古以来，没有胡人做皇帝的道理，应该把政权还给晋国。”于是派遣使者联合东晋：“刘氏不过匈奴小丑，趁着晋国内乱杀害了两位皇帝，我现在就带领众人送回他们的棺木！”
刘曜听说叛乱后立刻从长安赶来，并在到达赤壁（湖北）后登基称帝，石勒也率领五万兵马征讨靳准。
靳准畏惧石勒，给他送去了天子的车驾和服饰想要求和，石勒没有理会，还将此事告知了刘曜。刘曜派人前去劝降，靳准由于自己刚杀死刘曜的母亲和亲属而不敢归降，最终在犹豫不决之间被下属杀害。石勒成功攻入平阳，将刘桀等人的尸首入土安葬，并安排好陵墓的守卫才离开。
之后石勒将缴获的俘虏献给刘曜，刘曜打算封他为赵王，享受和当年曹操一样的礼遇，结果有臣子劝他道：“石勒此人外表恭敬忠心，实际上是想窥探咱们的虚实，伺机反叛。”此时的前赵军队历经作战，已经疲劳不堪，刘曜认为有理，便将石勒派遣的使臣在街市斩首。石勒得知后大怒：“我侍奉刘氏恭敬谨慎，尽到了所有臣下应尽的本分，他们的基业几乎都是我打下来的，现在却反过来怀疑我！赵王，我自为之，何须等你来封！”
于是双方断交，刘曜返回长安建立都城，石勒则接连派遣石虎在河南击败祖狄，在山西大破段氏鲜卑，势力进一步扩大。
319年11月，张宾等人联合上书劝石勒称帝，石勒正式登上王位，建立了“五胡十六国”中的第三个国家“后赵”。建国后虽采用汉人的礼仪制度，但却将他们视为外人，把胡人称作国人。
石勒用法严苛，特别忌讳别人提到“胡”这个字眼。某次，一个醉酒的胡人骑马闯入宫门，守门之人吓坏了，赶紧跑到石勒面前自责道：“刚才我已拼命喝阻他，可这些胡人根本不讲道理。”说完才发觉失言了，因为石勒也是胡人，不觉大惊失色。结果石勒没有怪罪，反而笑了笑：“胡人的确难讲道理。”宽恕了守门人，之后还严令胡人不准欺侮汉人。他对张宾更是礼遇备至，就连石虎都无法相提并论，每次和张宾见面都要事先整理仪容，始终尊称他为右侯而不敢直呼其名。
石勒还将昔日的故交好友全都接到襄国，和他们坐在一起欢乐宴饮。当初，石勒尚在微贱之时，常和邻居争吵打架，因而那位邻居不敢前来。石勒便派人对他说：“我正欲兼济天下，又怎会为了匹夫间的仇恨而小气报复？我从前是很厌烦被你老拳捶打，但你也没少饱尝我的毒手啊！”
之后，石勒建立的“后赵”与刘曜的“前赵”开始对峙，双方你来我往，水火不容。
同样分道扬镳的还有慕容廆和他同父异母的兄长吐谷（yù）浑，二人本来都居住在辽东的鲜卑地区，结果由于争夺马匹发生矛盾，吐谷浑一怒之下带领部众向西迁徙。慕容廆很后悔，派人前去向吐谷浑道歉，但为时已晚。之后吐谷浑一路向陇西扩张，将鲜卑的血脉带到了甘肃地区。他的部众骁勇善战，使得周边的羌、胡二族十分畏惧，于是成功建立了以“吐谷浑”为名的政权。
而留在辽东的慕容廆此时正遭遇三方联军的围攻。原来，晋国的平州（辽宁）刺史眼见慕容廆享有声望，士民大多归附，内心不安，便暗中游说高句丽、鲜卑段氏以及鲜卑宇文氏共同讨伐他。
慕容廆关闭城门，坚守不出，对属下说道：“高句丽、段氏、宇文氏被晋国诱导，想要攻打我们从中取利。如今他们刚刚会合，锐不可当，不可与之交战。等到这些乌合之众士气尽泄，又没有统一调度指挥，彼此之间必生猜疑矛盾，到那时我们便可兵不血刃了！”
之后慕容廆故意派遣使者只给宇文氏送去酒肉，引得高句丽和段氏怀疑，匆忙退了兵。儿子慕容翰则率兵驻扎到城外以分散敌人的兵马。宇文氏素来听闻慕容翰骁勇，不敢怠慢，果然分出了几千骑兵前去攻打。慕容翰设好埋伏，然后派人假扮成段氏的使者站在前来的路上作为指引。宇文氏的骑兵看到使者后全都大为欢喜，以为前方已经获胜，便不再设防地进入了包围圈。慕容翰伏兵四起，尽数俘获了他们，然后通知慕容廆一同反攻，大败了宇文氏。平州刺史被吓得逃往高句丽，部众全部投降，慕容廆成功独占辽东。之后他留下慕容翰镇守辽东，册立嫡子慕容皝（huàng）为继承人，让他和一众儒生一同接受学业。慕容皝刚毅有谋，喜爱汉家儒学，深得国人赞誉。
东晋在北方的其余藩镇也都被石勒逐一剿灭，势力进一步缩减，就连洛阳都成了空城。好在还有祖狄，他在与后赵将领对峙时奇计频出，将沙土盛入布袋装作粮草，然后大摇大摆地运进城。当时正值饥荒，后赵的将士已经饿了很长时间，看到晋军如此富足不由心生恐惧，终于连夜遁逃。祖狄趁机进取数城，挽回了部分疆域，得到了众多百姓归附。
祖狄在军中与将士同甘共苦，即使是关系疏远、地位低贱的人也会以礼相待，对于那些被迫投降后赵之人也不加责问，允许他们首鼠两端。众人对他感恩戴德，凡是后赵的密谋都会偷偷告知他。于是黄河以南大多背叛后赵而归附东晋。
石勒忌惮祖狄，特意下令为他的父亲修建陵墓以示友好，然后写信希望双方能够互不侵犯并开放贸易。祖狄的部下叛逃后赵，被石勒斩首送了回来，还说：“对于叛臣我深以为恨，您所憎恶的也是我所憎恶的。”祖狄很是感动，所以之后对于石勒那边的叛臣也不予接纳，并禁止部众侵犯后赵民众。双方有如当年的陆抗和羊祜，使得两国边境再次安宁起来。
祖狄好不容易在河南收复了部分失地，结果朝廷立马就任命了另一位将军前来接替他，好坐享其成。祖狄知道司马睿不支持自己，统一北方的大业终究难以达成，开始变得郁郁寡欢，终于染上了重病。他死那天，百姓如同丧失父母一般失声痛哭，为他建造了很多祠堂。
祖狄死后，东晋在北方的防线瞬间崩溃，后赵得以屡屡进犯黄河以南，夺回了很多城池。石勒本应趁势进取江东，但却也遭到了致命打击——张宾死了！
据史料记载，石勒在张宾的葬礼上崩溃痛哭，边哭边叫：“上天不想成全我的大业吗？为什么夺走我的右侯这么早！”之后与他人商议国事时又憔悴叹息道：“右侯好狠的心，抛下我一人就这么离开了，让我不得不和这些庸才共事，实在残酷！”终日流泪。
另一边，石虎率兵先后攻克山东的泰山和广固，不少郡县都投降了他。石虎残暴，坑杀降众三万人，还将敌军主帅的肉割下，强迫他的妻儿吃掉。青州（山东）刺史看不下去，劝他说：“你把百姓都杀光了，还统治谁呢？”石虎这才作罢。
司马睿刚统领江东时，王敦和王导兄弟二人同心同德，尽心辅佐。但之后王敦自恃有功，日益骄横，将亲族全部安插在重要位置企图把持朝政。民间也一度传出歌谣：“王与马，共天下！”意为王家与司马家分庭抗礼，共治江东。
司马睿心中恐惧，于是开始培植心腹，想要逐步压制王氏，就连王导也被他疏远。不过王导可不像他弟弟那样锱铢必较，始终安分守己，无论顺境逆境都能泰然处之，很多欣赏他的大臣跑到司马睿面前求情，因而保住了他的性命。
此后，王敦与司马睿之间的裂痕越来越深，加上祖狄已死使他更加肆无忌惮，不仅屡屡索要赏赐，就连上奏的言辞也越来越不顾礼节，每次被王导看到后都会封好退回，但他却仍继续上书。