杨广带领一众文武到江都之后，心中大安，又过起来花天酒地的生活，每天与萧皇后等后宫佳丽宴饮不休，外面朝廷平叛战事不顺、再加上三征高句丽无功而返，让杨广斗志全无，只想用酒精麻醉自己。
一个月后，杨广想起了还在杭州平乱的高不二，于是着人传高不二来江都见驾。高不二接到圣旨后，马不停蹄赶往江都。
杨广在后宫召见了高不二，萧皇后陪侍在杨广身侧。
高不二看到了一个如丧家之犬的杨广，眼中空洞无物，只是机械般的坐那饮酒，以至于高不二进来很久，杨广都没看到他。
还是萧皇后看皇帝一直神游，高不二站了好久还没落座，便轻声道：“陛下，楚国公在下面站很久了，是不是先让楚国公落座。”
杨广这才回过神，对高不二咧了咧嘴，有气无力道：“你随便坐吧。”
内侍依令搬来一个锦凳，高不二谢过，落座。
“你对朕三征高句丽有何看法？”
起先高不二以为杨广召见自己是询问杭州战事或者找自己借钱，没想到杨广会无厘头的问到这上面，思考了好一阵，认真道：“朝中门阀势力威胁到皇权，陛下借征战高句丽之机消耗门阀势力，进而削弱门阀力量，从这一点来看，陛下是成功的。”
杨广直视高不二许久，方才哈哈大笑道：“世人都说楚国公有经天纬地之才，朕以为你还年轻，总是不信，没想到你今日一席话暴露了出来，楚国公，你骗得朕好苦啊。”
高不二讪讪笑了笑，不接这话茬。
杨广又问：“世人都说朕贪图享乐，每每出征都带着无数佳丽，楚国公又如何看？”
“不过障眼法而已，是陛下迷惑门阀士族的手段，我不得不在心里大赞一声陛下英明。”
“那为何朕会走到山穷水尽的地步？”
“方法虽好，施行起来却是急功近利了一些，您一方面要借助战争削弱门阀势力，一方面又因大工程、战争伤了国家根本，就是贫民百姓，导致现在门阀给您唱对台戏、百姓也频频揭竿而起。”
听了高不二的话，杨广拿酒杯的手悬在空中，许久，他才长叹一口气，仰头喝尽了杯中酒。
“谢谢你能对朕说这些话，这些话也是朕心里所想，其实朕想在通过征战高句丽实现削弱门阀的目的之后，就打算施宽政于天下，让天下休养生息，谁知天下百姓却苦朕已久，无法忍耐，他们揭竿而起，朕不怪他们，朕如此做也有不得已的苦衷。”
说到这，杨广又连干三杯，继续道：“你对当今天下形势怎么看？”
“百姓举事本来不足为惧，奈何而今门阀和地方豪门也牵涉其中，只怕是无力回天了，当然，陛下如果想划江而治，臣必全力辅佐。”