朝廷里的官员知道之后，便纷纷来贿赂这两个妾侍，以此谋取巨大的利益，那两个女子通常是来者不拒，只要给够了钱，她们都会替人在阳曰旦耳边吹风。
时间长了，外面的人便把这两个歌姬叫做“如宰相”，意思是她们的话就好像是宰相一样管用。
这样过了许多年，朝廷的纲纪被阳曰旦败坏得一干二净，朝中到处都是贪官污吏，而阳曰旦本人却每天骄奢淫逸，沉醉在享乐繁华之中。
忽然一日，天子驾崩了，阳曰旦顿时大惊失色，急急忙忙地从侍妾的温柔乡中起来，穿好了官服便要到朝中去。
只是才走到门口，便听说新君已经接受了一位大臣的上书，书中痛陈阳曰旦为官多年多做的各种为非作歹，祸乱朝纲的事情。又骂他原本不过是个操持贱业的匠人，只是因为侥幸在斗香中获胜，便成了一国驸马，又登上高位，但他却不想献身国事，反而擅自作威作福，甚至纵容卑贱的妾侍欺压高贵的公主，甚至卖官鬻爵，他犯下的死罪，真是罄竹难书。
新君是个想要作为的年轻人，他一听这奏疏，当即便罢免了阳曰旦的官职，又命令宫中的侍卫前去查抄阳曰旦的家产，将他流放至岭南。
阳曰旦接旨之后吓得四肢瘫软，爬也爬不起来，但抄家的侍卫才不管他的惨状，直接给他带上了枷锁镣铐，将他拖出了大门。
临走，他看到自己宠爱的侍妾，被人揪着头发杀死在门前，心爱的儿子哭喊着父亲的名讳被人拖着带走，而结发的公主却踏出了后宅，冷冷地站在台阶之上，看着这一屋子的惨状。
他想要爬到公主脚下，祈求她的宽恕，让她放过自己的孩子，但公主却看也不看他一眼，径直登上了马车前往宫中去了。
前往岭南流放的途中，他想求一辆劣马破车作为代步，但是却被监管的差吏蛮横地拒绝，只好自己走到脚全都磨破，脚上长满了老茧。
即便到了夜晚，他也不被允许住在房子里，只有下雨的时候，才稍稍让他在屋檐下躲避一会儿，
终于到了岭南境内，差吏们吃着路边树上结的荔枝，口中嚼着解渴的甘蔗，鸭梨，不再催促着他日夜赶路。
他坐在路边，望着天上的月亮，不知怎么回事，又想起了那日斗香的景象。
即使过去了十几年，他还记得自己合的香：沉香、檀香各一两，龙脑、麝香各一钱，用寻常方法烧制，香气馥郁高贵，就像是当年公主含笑的脸庞。
可是如今他哪里还能找到这样珍贵如同黄金的香料呢？
大抵只能把差吏们吐出的荔枝壳、荔枝核，甘蔗渣滓与鸭梨核埋入火中充当香料吧。
还不等他继续哀叹自己的命运，忽听林中人声嘈杂，一伙强盗手持利刃，嘶吼着向他杀来，官差们远远见到强盗便夺路而逃，只留阳曰旦一人被锁链困着无处藏身。
他眼见强盗跑跳着前来，忙跪在地上竭力恳求强盗的宽恕，但这些强盗全都瞪着眼睛大声说道：“我们都是被你坑害的老百姓啊。”说罢便举起手中的利刃，重重的向阳曰旦脖子上砍去。