开皇十四年秋，年过半百的皇帝杨坚已经失去了往日的英锐之气，他一手创立的大隋已经盛极而衰，正如田野里的杨树正在由绿转黄。宫内外都知道皇帝惧内，也都知道太子杨勇不受父皇母后待见。皇后独孤伽罗死活看不上太子，偏偏喜欢老二晋王杨广，一场宫廷巨变正在酝酿中。
此时山东地界遭遇蝗灾，杨坚下诏命各州开仓赈济灾民。
当年秋九月初四，山东曹州离狐县徐家大院喜气盈门，贺喜的人络绎不绝。原来是员外徐盖喜添男丁，宴请亲朋故旧。这徐家祖上乃是山西高平徐氏大族，徐盖的祖父徐元在北魏做官，父亲徐康在北齐官居伏波将军、濮阳郡守。北齐灭亡以后徐康罢职，他带领家人从濮阳郡迁居山东曹州济阴。到了徐盖这一代举家迁居曹州离狐，徐家淡出仕途一心经营田产。
此时的徐盖正在自家大门前迎来送往，几十个叫花子围拢过来，向他们讨要吃喝。徐家门口的几个家丁正要驱赶乞丐，徐盖拦住了他们，把管家徐福叫来吩咐道：“你带几个人沿街搭十个帐篷，摆二十套桌椅，把酒菜备齐，让这些乞丐也吃顿饱饭！”
徐福道：“倘若其他几条街的乞丐也会闻风而来，那要备多少桌酒菜才够他们吃啊？”徐盖道：“不过是加几桌菜罢了，这饥荒年月让他们吃顿饱饭，也为我那刚出生的儿子积点儿阴德。”管家应声去了。
俗话说，客走主安。徐盖送走了亲朋好友正要转身回府，一个手拿拂尘的青衣道士上前稽首道：“员外请留步，贫道特来恭贺贵府弄璋之喜！”
没等徐盖回话，那道士又道：“贫道到此并非讨喜酒喝。只因昨日我夜观天象，贵府内一道金光直冲斗牛，那里正是将星之位。今日特来为员外贵子看相，不知您意下如何？”
徐盖看那道士，虽布衣草履但双目奕奕有神，便同意他进府为儿子看相。
那道士进得府内，在厅院内用拂尘指着东厢房的屋脊，笑道：“前夜那金光就是从此发出，想必贵子就在此房出生！”
徐盖听了吃惊不小，莫非此人有未卜先知的奇术？他口中应承着，把那道士引进府中东厢房。
管家徐福让丫鬟抱出用锦被包裹的幼儿。说来也怪，这孩子不哭不闹，一直用小嘴吸吮着自己肉嘟嘟的小手。
那道士定睛看了一眼孩子，欣然道：“此子将来必然出将入相，辅佐明君济世安民，建功立业。贫道为他取名世绩，成人后取字懋功，员外以为如何？”
徐盖笑道：“感谢仙长赐名！请您暂留贵步，与我小酌几杯聊表谢意。”
那道士笑道：“贫道一向滴酒不沾。叨扰多时，告辞了！”说完飘然而去。
送走道士，徐盖仔细端详着儿子的脸，半晌徐徐说道：“难道我徐家真要靠这个孩子光耀门楣了吗？”
时光如梭，转眼间徐世绩已经六岁，徐盖为儿子请来离狐当地有名的儒生来教孩子识文断字。徐世绩虽聪明伶俐，但毕竟正在贪玩的年纪。老先生正在摇头晃脑念书的时候，徐世绩就趁机逃出去到街上找玩伴戏耍。
当街离徐家不远有一单姓人家，也是一个大户，刚从曹州济阴搬来不久。两家在曹州济阴时就住在同一条街，如今又住在同一条街，故而两家人交情深厚。单府内也有一个六岁的公子，名唤单通，常与徐世绩玩在一起。
徐世绩脑瓜灵有胆气，单通力气壮敢出手，两个人经常一起和街上的小混子干仗。街上的有个混子头在家中排行老三，故被称作“三青头”，经常带领一帮顽童在集上“扫街”。