话说武帝年已七十高龄，膝下共有六位皇子。除了长子卫太子刘据外，还有齐王刘闳、昌邑王刘髆（这两位在前文中已有提及），以及钩弋夫人所生的小儿子刘弗陵。另外还有燕王刘旦和广陵王刘胥，他们都是后宫李姬所生的孩子。当年燕王旦和广陵王胥与齐王闳同时受封为王，在宗庙中接受册封，场面十分庄重。
燕王刘旦眼看两个兄长都不在了，按顺序他有望成为皇位继承人，便上书请求入京担任宿卫，以窥探父皇的心意，但武帝并未答应他的请求。贰师将军李广利则想让自己的外甥昌邑王刘髆成为太子，于是多次找丞相刘屈牦商议此事。由于刘屈牦的儿子娶了李广利的女儿为妻，两人亲上加亲，自然一拍即合。征和三年时，匈奴进犯五原和酒泉，汉廷接到消息后，武帝下令派李广利率领七万兵马前往五原抵御；重合侯马通率四万人出兵酒泉；秺侯商邱成率二万人出击西河。
李广利辞别武帝启程，丞相刘屈牦亲自送至渭桥，并私下对他说：“你若能尽快让昌邑王被立为太子，那么富贵必然长久不衰，日后也必定无忧无虑。”这番话无疑是将刘屈牦推向风口浪尖。刘屈牦答应了他的要求后各自离去。
李广利领军出塞，行至夫羊句山时，与匈奴右大都尉的五千骑兵相遇，经过激战，匈奴军队抵挡不住，只好败退，李广利乘胜追击至范夫人城。这座城是边疆将领的妻子范氏所筑，故有此名。另一边，马通军抵达天山时遭到匈奴大将偃渠的截击，见对方兵力强大，偃渠未战而退，马通追赶不及，只能撤回。商邱成率军深入胡地却无所斩获，只好收兵返回，但在回撤途中遭到了由匈奴大将及李陵率领的三万兵马的追击。商邱成被迫应战，连续打了八九天仗，最后在南临蒲奴水边成功击退胡兵，才得以安全回撤。其他两路大军都已经返回，唯独李广利还在前线未归。武帝正挂念着李广利的安危，突然宫内官郭穰前来报告说丞相刘屈牦与贰师将军李广利密谋欲立昌邑王为皇帝，甚至丞相夫人还请女巫祈祷诅咒皇上。这让武帝勃然大怒，立刻下令逮捕刘屈牦并关押审讯，罪名定为大逆不道。随后，武帝命人把刘屈牦捆绑在厨车之上，于东市腰斩处死，其妻子儿女也被砍头示众于华阳街，连李广利的家人也因此牵连被捕。
正当李广利在前线听说家人的消息，急得脸色发白的时候，身边有个叫胡亚夫的属吏出主意说：“将军若能立下大功，或许还有机会回国赎罪，救全家一命；否则现在匆匆忙忙地回去，那不是大家一起受罪吗？再想回到这片战场，恐怕是没戏了！”于是李广利决定冒险深入敌境，在郅居水上打败了匈奴左贤王，还斩杀了匈奴的左大将。他本来还想继续挺进，直捣黄龙，但军中的长史认为他这样做过于冒险，可能会导致全军覆没，便私下商议要抓住李广利送回国内。不巧被李广利得知，立即处决了这个长史。李广利知道军队中人心浮动，下令撤退，但在返回途中到了燕然山时，遭到了匈奴骑兵的报复。匈奴人抄小路截住了汉军后路，疲惫不堪的汉军再次陷入苦战，只能暂且扎营休息，准备第二天再战。然而半夜时分，营地后方突然起火，又有匈奴士兵冲杀进来，汉军顿时乱作一团。想要逃走时却发现前方已被匈奴挖下陷坑，黑夜里看不清，许多人跌入坑中。李广利虽未坠坑，但也无路可逃，前有深沟后有大火，心想反正死定了，不如投降匈奴，或许还能保一条命（不过后来的事证明这未必是个好主意）。于是他下了马主动投降，被匈奴士兵带走面见狐鹿姑单于。单于听说他是汉朝的大将，特别优待他，并在他家人被汉廷诛杀后，将自己的女儿嫁给他为妻，使他在匈奴的地位甚至超过了卫律。卫律心生嫉妒，想找机会害死李广利，但是始终没有找到合适的时机。直到一年后，单于生病久治无效，卫律买通巫师向单于进言，说是李广利多次侵犯匈奴，触怒神灵，应该用他来祭祀社稷才能转危为安。单于迷信鬼神之说，下令捉拿李广利。李广利还以为是单于翻脸无情，愤怒地咒骂单于道：“我死了匈奴一定会遭殃！”但他哪里想到，自己死后不仅不能找卫律报仇，更不可能给匈奴带来灾祸（真是悲剧）。
与此同时，武帝因为李广利降敌，下令屠戮了李氏一门，连带着前将军公孙敖、赵破奴等人都受到牵连被灭族（这让之前因李陵而受牵连的公孙敖家族总算出了口气）。武帝反思这么多逆案都与巫蛊有关，这些方士有没有真本事呢？而且多年求仙也没有效果，索性再到东莱探个究竟。他再次东巡，召集了一批方士询问神仙的踪迹，众方士都说神仙住在海上的神山，可是每次都被逆风吹偏航向，无法到达。武帝竟然打算亲自乘船出海，群臣劝阻也不听。结果正要登船出发之际，海上狂风大作，巨浪滔天，吓得武帝连连后退，自知不宜出海，只好在海滨逗留了十几天后启程返京。途经钜定时行了亲耕礼，又到泰山进行了封禅祭祀明堂的仪式。典礼结束后，武帝对群臣说：“朕即位以来，行事确实有些荒唐和任性，让天下百姓受了不少苦，现在追悔也来不及了。从今以后，凡是伤害百姓的事情，一律停止废除，不可再做！”这时大鸿胪田千秋站出来谏言：“这些方士总是谈论神仙，到现在也没见到什么功效，白白浪费国家俸禄，应该让他们都回家去。”武帝点头赞同道：“大鸿胪说得对，朕这就照办。”于是下令遣散所有方士，不必再等待神仙出现，方士们只好怏怏离去。武帝随后返回京城，任命田千秋为丞相，并封为富民侯。
搜粟都尉桑弘羊上书武帝，建议在轮台东部的五千余顷水田上派兵屯田，并设立都尉；同时招募强壮百姓开垦荒地，建设防御工事，以备战守之需，防止西域有所异动。然而，武帝并不采纳此议，反而下了一道著名的悔过诏书，大致内容如下：
“之前有官员提议增加百姓赋税来支援边疆作战，这无疑会加重老弱孤寡的生活负担。
现在又有人提出远赴轮台屯田，要知道轮台距离车师国就有一千多里，之前攻打车师时虽已降服其王，但因路途遥远且粮食供给困难，就有数千人死于途中，更何况是更往西的地方呢！如今贰师将军李广利兵败身死，士兵们伤亡惨重、离散悲痛，朕深感痛心。若再要求百姓长途跋涉去轮台屯田修筑工事，只会劳民伤财，这不是关爱百姓的做法，朕实在不忍听闻！今后应当着重禁止苛政暴行，停止无理增税，鼓励农耕，恢复养马政策（养马者可免徭役），并确保军队补给充足即可。”
自此之后，武帝不再发动大规模战争，甚至连之前的诸多嗜好也一一戒除。后世称这段诏书为“轮台悔诏”。不久，桑弘羊升任御史大夫，赵过接任搜粟都尉一职。赵过推行了代田法，让百姓逐年更换种植位置，每次除草时都要培土加固作物根部，这样作物更能抵御风旱灾害，减少人力投入而收获更多粮食，百姓对此拍手叫好。转眼到了征和五年，武帝一心改革，再次改元，不再使用祥瑞字眼，称为复元元年。正月初吉之时，武帝亲临甘泉宫祭祀郊泰畤，回长安后，丞相田千秋鉴于连年严刑峻法导致内外人心惶恐，便与御史以下各官僚借着祝寿的机会劝谏武帝施行仁政，减轻刑罚，顺应天意，修身养性，并提到应以欣赏音乐等轻松方式颐养天年。武帝回应道：
“朕未能尽德，致使不祥之事频发，从左丞相与贰师将军勾结叛乱到巫蛊之祸波及众多士大夫，朕数月间每日只吃一顿饭，哪有什么乐趣可言？至今仍有不少巫术盛行，灾祸未止，阴邪之气侵袭身心，近臣远臣皆被盅惑，朕为此深感愧疚，何谈长寿？在此感谢丞相以及二千石以上的官员们的好意，你们各自回去吧。《尚书》有云：‘无偏无党，王道荡荡。’希望各位不要再提此事了。”