自从汉朝建立以来，直到刘恒当皇帝的现在，一个民族一直就和汉王朝没事就干一架，这个民族就是匈奴。
其实匈奴不光是在汉朝时期，而是在整部中国古代史都与中原王朝有着千丝万缕的联系。咱们就说是当下，而现在到了刘恒当皇帝了，那么他自然也要处理和匈奴的关系了。在这之前自从刘邦在白登之围解围之后，对于匈奴一直都是采取和亲的安抚政策。和亲虽然收到了一定效果，但是这并不能从根本上解除匈奴对汉王朝的威胁，双方一直也都是处于战和不定的状态。本来刘恒也是打算双方继续进行又好和亲的，大家都做亲戚不是挺好的吗。可是现在匈奴不答应了。
文帝前元三年（前177年），匈奴的右贤王撕毁了和亲之约，率数万大军侵占河南地（今内蒙古伊克昭盟地区），并且还袭击了上郡（今陕西绥德地区），一路上也是到处烧杀抢掠，杀了汉王朝不少的人民，这一次直接威胁到了皇城长安。刘恒立马派出军队去准备迎战，但是匈奴兵在一通烧杀抢掠之后，抢完了也就撤退了。双方虽未交兵，但这次用兵是西汉自白登之围后对匈奴第一次大规模的军事行动，这也表明了刘恒对于匈奴已经并不甘于和亲政策了。
文帝前元六年（前174年），匈奴原先在白登山围困刘邦的那个冒顿单于死了，他的儿子挛鞮稽粥继承了他的单于之位，号为老上单于。老上稽粥单于刚刚继位，汉文帝刘恒又派遣皇族女去做单于的阏氏（匈奴单于的正妻），让宦者燕国人中行说去当和亲翁主（刘姓诸侯王女的位号）的附属品。中行说不愿去，可是这可不是他一个人不想去就不去的，最终他也是被强迫着去了匈奴。中行说说：“如果一定让我去，我将成为汉朝的祸患！”果然中行说到达后，就投降了老上单于稽粥，稽粥也特别宠信他。中行说也开始了他对汉朝的报复行动。
最初，匈奴人都比较喜欢汉朝的缯絮和食物，中行说就跟稽粥说，不必依赖于汉朝，他说道：“如今单于若改变原有风俗而喜欢汉朝的衣物食品，汉朝给的东西不会超过其总数的十分之二，那么匈奴就会完全归属于汉朝了。单于不如把从汉朝得到的缯絮做成衣裤，穿上它在杂草棘丛中骑马奔驰，让衣裤破裂损坏，以此显示汉朝的缯絮不如匈奴的旃衣皮袄坚固。把从汉朝得来的食物都丢掉，以此显示它们不如匈奴的乳汁和乳制品方便味美。”中行说还教匈奴的人们分条记事的方法，以便核算记录他们的人口和牲畜的数目。在当时汉朝送给单于的书信，一般都是写在一尺一寸的木牍上，开头文词是“皇帝恭敬地问候匈奴大单于平安”，及写上所送的东西和要说的话。中行说就让单于用一尺二寸的木牍写信送给汉朝皇帝，并且把印章和封泥的尺寸都加长加宽加大，把开头语说得很傲慢：“天地所生、日月所安置的匈奴大单于恭敬地问候汉朝皇帝平安。”再写上所送东西和要说的话语，以此表示匈奴单于地位高于汉朝皇帝。
有一次汉朝派使者出使匈奴，汉朝使者中，有人对中行说说：“匈奴风俗轻视老年人。”中行说就诘难汉朝使者说：“汉朝的风俗，不也是家里但凡有儿子当兵要被派去戍守疆土将要出发的时候，他们的老年父母难道有不省下来暖和的衣物和肥美食品，把它们送给出行者吃穿的吗？”汉朝使者说：“是这样。”中行说接着说：“匈奴人都明确战争是重要的事，那些年老体弱的人不能打仗，所以把那些肥美的食品给壮健的人吃喝，这是为了保卫自己，这样，父亲儿子才能长久地相互保护，怎么可以说匈奴人轻视老年人呢？”
汉朝使者又说：“匈奴人父子竟然同在一个毡房睡觉。父亲死后，儿子竟以后母做妻子。兄弟死后，活着的兄弟把死者的妻子都娶做自己的妻子。没有帽子和衣带等服饰，缺乏礼节。”中行说却说：“一个国家的政治事务，就像一个人的身体一样，父子和兄弟死了，活着的娶他们的妻子做自己的妻子，这是惧怕种族的消失，为了种族的延续。所以匈奴虽然伦常混乱，但却一定要立本族的子孙。如今汉朝人虽然佯装正派，不娶他的父兄的妻子做老婆，可是亲属关系却越来越疏远。况且礼义的弊端，使君王臣民之间产生怨恨。还有汉朝使者想要上来辩论，中行说就说：“汉朝使者们，你们也不要说这些不中用的废话了，你们只需要想着汉朝输送给匈奴的缯絮米蘖，一定要数量足，质量好就行了，何必要说这些无用的废话呢！而且供给匈奴的东西一定要齐全美好，如果不齐全或者粗劣的话，那么等到庄稼成熟的时候，匈奴的骑兵就要骑着马奔驰践踏你们成熟待收的庄稼。”中行说还日夜教导稽粥等待有利的进攻时机和地点。
而稽粥这个人可谓是相当的有能耐，他继位之后在中行说的辅助之下，多次攻打月氏，而且还杀了月氏王，拿他的颅骨来当酒杯用。在稽粥控制了整个西域地区之后，中行说就让他开始对汉王朝使用起了游击战术了。
老上单于稽粥凭借塞外的地理优势，看准了汉军无法远追匈奴，所以呢就对汉朝采取“敌休我袭，敌进我遁”的游击政策，发起一些十分突然性的骚扰、入侵、掠夺，这使得汉朝防守上疲于奔命，每次整顿好兵力求战匈奴，匈奴就带着抢到的东西又逃回塞外去了，这使得汉军求战不得。
到了文帝前元十四年（前166年）冬，老上单于又是亲率14万大军入北地郡，进占朝那（今甘肃平凉西北）、萧关（今宁夏固原东南）、彭阳（今甘肃镇原东南），烧毁中宫（秦宫，故址在今宁夏固原），前锋直抵岐州雍（今宝鸡凤翔）、甘泉（今陕西淳化西北），距离皇城长安也仅仅200里，直接威胁西汉王朝的统治中心。这次刘恒收到消息之后勃然大怒，当即就部署反击，立即任命中尉周谷、郎中令张武为将军，发车千乘，骑兵十万，驻扎在长安附近，防卫京师；又拜昌侯卢卿为上郡将军，宁侯魏遫为北地将军，隆虑侯周灶为陇西将军，东阳侯张相如为大将军，成侯董赤为前将军，大发上郡、北地、陇西等处兵马车骑迎击匈奴，这一次双方是真正的硬碰硬。在双方苦战一个多月之后，谁也没能讨到便宜，于是老上单于率军退出了塞外，而汉军也是把匈奴逐出塞也就班师回朝了，也没有继续追击。这一仗之后，刘恒也深深的体会到了，现在还不是和匈奴正面决战的时候，因为目前国内局势还不稳定，各路诸侯对帝位虎视眈眈，且国力尚未恢复，无力与匈奴进行一场旷日持久的战争。因此，匈奴也是变得越来越骄横起来。此后数年之间，稽粥有屡次率领匈奴大军连年入侵，偷袭抢掠云中、辽东二郡，每年被杀掠人口万人以上，而汉朝被逼无奈只得再次以和亲及岁贡的方式来安抚匈奴。到了汉文帝后元二年(前162年)，老上单于也接受了汉朝讲和的意见。两国以长城边塞为界互不侵扰。
文帝后元四年（前160年），这一年，匈奴的老上单于稽粥死了，儿子军臣被立为单于，但是他依然宠信中行说，中行说也是继续劝说他，让他积极准备攻汉。两年后，军臣单于再次撕毁了和亲之约，对汉朝发起了战争。他以6万骑兵，分为两路，每路3万骑，分别侵入上郡和云中郡，依然是所过之处到处烧杀抢掠。得知消息之后，刘恒急忙以中大夫令勉为车骑将军，率军进驻飞狐（今山西上党附近）；以原楚国相国苏意为将军，将兵入代地，进驻句注（今山西雁门关附近）；又派将军张武屯兵北地，同时，命河内郡守周亚夫驻兵细柳，祝兹侯徐悍驻扎在棘门，宗正刘礼驻军霸上，保卫长安。此时，匈奴骑兵已进至代地句注边，边境烽火警报也是连连告急。汉军经过数月的调动，方才刚刚抵达边境地区。匈奴见汉军加强了守备，就继续使用游击战术，退出了塞外。刘恒出于对国内形势的考虑，不可能让大军深追，也只能下令罢兵还朝了。