二人下山之后，一路骑马徐行。李白似乎已经看开，苦笑说道：“是时候离开长安了……”
杨少瑕道：“大哥切莫悲观，万一事情还有所转机呢！”
李白道：“似他这般不思进取整日享乐，还有什么转机！”他接着说道：“你可知道楚人卞和因何痛哭？他哭的是玉在璞中，却是无人能识！好似宝剑蒙尘、黄金埋土……一匹千里良驹终是没有伯乐认得！罢了，罢了……”
杨少瑕知道大哥说的是实情，一时不知如何宽慰。
只见李白作《古风》一首吟叹道：
抱玉入楚国，见疑古所闻。
良宝终见弃，徒劳三献君！
唱到此处，已经泣不成声……
终于回到京城。李白进宫面圣禀道：“微臣二人登山多次迷路，最终无功而返。并未寻到野人，更未见和氏璧。”
玄宗面露愠色，于是斥退李白。李白胸中烦闷，便叫上杨少瑕，二人策马来到长安城东郊的浐河之畔。
只见浐水之上一艘押运假山巨石的大船，船头向下将要没入水里，船尾已经开始向上倾斜。船上传来阵阵打斗之声。原来是雄风镖局为朝廷押运的花石纲，被五六个江湖豪客潜入船下凿穿了船头，使得船头漏水即将沉没。前总镖头岳雄风的儿子岳一刀武功不济，已经惨死在大船上。其余二十多个镖师也都惨死，那几个江湖豪客也是非死即伤：死了两个余下三人重伤。岳雄风的义子萧一笑，此刻正在跟对方的头领展开一番恶斗！这群江湖豪客的头领叫做刁洛潺，专爱跟朝廷贪官污吏作对。他们早就看这押运巨石的大船不顺眼了，今日终于动手要将它弄翻！两人各使大刀，斗得难解难分。时间稍长，萧一笑便渐落下风，手中大刀也被打落在地；突然听得一声惨叫，萧一笑的左臂竟被对方一刀斩去！萧一笑强忍着左臂的剧烈疼痛，右手急取腰间匕首扎入刁洛潺的左眼。刁洛潺一声厉叫，急忙以左手捂住眼睛，鲜血从指缝滴滴落在地上。
二人还要以命相搏，李白见状轻点马背。空中几个跨越，已经落在船上。他挡在二人的中间，喝道：“且慢！”
那二人齐问道：“你是何人？”
李白实在不忍再看二人的惨状，答道：“在下李白。两位都已身受重伤，且看李白薄面，就此收手如何？”萧一笑大声道：“不行！他弄翻我雄风镖局的大船，还杀害我兄弟岳一刀。我若是不报此仇，死后有何面目去面对义父岳雄风？”刁洛潺道：“我和我这帮兄弟素来行侠仗义，一见到官府搜刮民脂民膏必要进行破坏！今日虽然弄翻了你的大船，我的兄弟也是非死即伤，更何况我也瞎了一只眼睛！”李白急道：“船要沉了！快带着没死的兄弟上岸再说！”于是李白救起两人，刁洛潺也抓起一人，一起飞身上岸。
杨少瑕见萧一笑还在船上迟疑，急忙飞跃上船，一把将他提起，回到岸上。片刻之后，大船头朝下尾朝上，带着一船的假山巨石，以及死者的尸体，一起淹没在浐河中……
萧一笑此刻仍是满眼怒气，恶狠狠地盯着刁洛潺。李白见状拍了一下萧一笑的肩膀，然后将萧一笑的右手和刁洛潺的右手放在一起，说道：“二位都是性情中人，不能只顾私人仇杀。听我一言，你二人即刻前往江夏侠客堂，就说是我李太白推荐的……”刁洛潺突然以左手一把将匕首拔出，竟然带出了左眼珠子，于是他将眼珠放进嘴巴直接吞入腹中，大笑说道：“身体发肤受之父母，岂可随意损毁！萧兄，你就原谅我吧！”说罢他将匕首递还给萧一笑，其余之人目睹此情俱都吃惊。萧一笑低着头拱手说道：“你我也算不打不相识了！”李白笑道：“这就对了！”
李白又等一月，终是不得召见。此时杨少瑕已经去到了江夏。
于是天宝三载五月，李白几番徘徊之余，终于上书请求还山。玄宗当即恩准，并赏赐了许多银钱。当李白捧着“赐金还山”的手敕时，心中不禁感慨万千：他不过是早上上书请求的，谁知这还不到正午，皇帝就已经迫不及待地答应了……李白放声大笑，可是有谁知道他内心此刻正在滴着血！
李白取下头上的学士帽，脱去身上的宫锦袍；戴上角巾换上平民穿的葛服，离开了翰林院。应召入京前后一共不到三年的时间，李白终于离开了长安。
就在李白离开大明宫时，高力士嘲讽道：“哟，李大学士这就离开长安啦？”
李白冷笑着道：“高公公，你就这么盼着我走吗？”
高力士嘿嘿一笑道：“你可知道为什么长安不容你？”
李白道：“为什么？”
高力士道：“你纵然才华横溢，可是不会做人，人际关系一团糟，到最后你只能离去……”
李白冷笑一声说道：“这一点上我李白自愧不如高公公！”
高力士道：“圣上最喜欢听话的人。奸臣他固然是不喜，可是忠臣言语太刚直了也是不爱。所以我既不是奸臣，却也不是忠臣。皇帝高兴做什么事情，我就陪他做什么……你现在明白了吗？”