605年，刚迁都洛阳的杨广又率领文武大臣、后宫嫔妃要到江都游玩，于是又大肆征调民夫，最过分的是他一艘船竟要一千多纤夫拉，而这一次出动船只有两千多艘，同时还命令船只所过之处，运河两岸五百里内百姓预缴三年赋税，供他花销。
此令一出，天下哗然。
宰相高颎上本道：“陛下初登大宝，应当体恤下民，这样无休止的征调民力，于国无益，稍不注意，就有可能有倾国之危。”
这高颎本就因为当初支持废太子杨勇而被杨广记恨，而今又无端职责自己，杨广大怒，于是先罢免了高颎，后面又秘密处死了高颎。
高不二在杭州，亲眼目睹了劳役的繁重，才明白为什么杨广在位十几年基本上每天都有叛乱的原因所在，你让老百姓都活不下去了，不造你的反那不见鬼了。
606年杨广在江都游玩了大半年后，于607年返回了洛阳，没过一段时间，为了威慑突厥，杨广准备在榆林举行一次盛大阅兵，但是又怕突厥打来，于是又征调一百多万民夫，在榆林以北构筑了一道长城。
自杨广登基之后，赋税一年重于一年，民夫征调从来没有停止过。
正当杨广折腾不息之时，高不二已命令张仲平秘密前往张掖，开始炼军大计，久居杭州的高不二在杨广游历江都时，曾多次被杨广召见，在高不二又给他上缴两成琉璃收入之后，杨广很大方的封高不二为空头楚国公。
高不二无语至极，这丫子毛，江都距离杭州近在咫尺，他可不相信杨广不知道自己在造船，但是他问都没问，只要钱。他曾一度认为杨广就是一个拆家二哈，能在位十多年，应该感谢他老子家业打的基础好，不然实在是经不起他这败家小能手祸祸。
正在天下如火如荼之时，高不二收到了李渊来信，原来不久前，杨广又任命他做了荥阳太守，记得高不二曾言想到河南游历，因此一到任，李渊就写信邀请高不二到荥阳一叙。
收到李渊来信，高不二当即准备动身。
萧玉梅问道：“夫君何故要去荥阳？”
其实无他，高不二穿越前，家就在新郑，他之所以想到河南游历，一是看看故乡如今如何了，第二个就是看看瓦岗地形，虽然这些年他也让自家商队为他收集了不少山川地理图，但是总归要实地看看才能放心，而今天下地形与后世相差甚大。
为了不让二位夫人担心，高不二道：“我就想去看看中岳嵩山，以及去北少林去看看，二位夫人可有意通往？”
见高不二心意已决，二女自然欣然同往，在这个年代，夫唱妇随那绝对是无人说闲话，后世什么离不开男人的风凉话，在现在绝对没市场。
来到荥阳，李渊出城迎接高不二，接风过后，李渊请高不二到书房一叙，待两人坐定，李渊道：“贤弟，刚才席间人多嘴杂，邀请贤弟此来，一方面是为了替贤弟完成游历河南愿望，另一方面想问计于贤弟。”