处理完义军事务后，张煌又立刻返回徽州府城，下令召集城内官绅。
这些人自己或者祖辈曾经在朝为官，与那些商人可不一样，不是那么好糊弄的。
这一次，郭臻没有出面，但郭臻到徽州府为张煌撑腰，让张煌底气十足。
张煌镇守徽州府没有得到朝廷的诏书，人又很年轻，没什么名声，官绅们对他并不太热情。
无论是鲁王的内阁首辅张维还是唐王的内阁首辅黄道，这些官绅都能拉上关系，无论来的是谁，他们还想过从前的好日子。
不过，因为郭臻到了徽州府城，这些官绅倒也不敢直接和张煌对着干。
张煌虽然年轻，但在待人接物上倒是自有一番手段，他在见官绅时，与见义军首领时完全不同。
张煌是举人出身，穿了一身文士服，给诸位前辈执弟子礼，表现得极为谦逊：“诸位先辈都深受皇恩，如今大明局势危急，身为臣子当尽心效力，如今守城将士粮草不足，连商贾都知道捐献一些银两，在下恳请诸位打开家中粮仓。”
因为大明盛行的官绅体制，田地多在官绅手里，粮食也多藏在他们的仓库中。
张煌说出这番话的时候，把‘连商贾都知道捐献一些银两’这几个字眼说得尤为重，官绅们都是体面人，哪里受得了刺激，虽然心中对张煌耍的小手段有些不满，但还是纷纷提出捐献一些粮食。
进入十一月后，张天禄麾下的斥候营几乎折损殆尽，这让他又惊又怒，绩溪城内的粮草还能继续支撑下去，但他心头危险的感觉越来越重。
张天禄所部在绩溪变成了聋子和瞎子，不是所有的百姓都在支持宁绍军，但几乎没有百姓在支持他们。
从前天起，张天禄所部出城变得极不安全，即使是上百人的斥候队伍，在层出不穷的埋伏和猎杀面前依旧不够看。
张天禄再也顶不住这无形的压力，终于决定退兵了，他先命五百轻骑兵从翠岭退入宁国府，再绕道天目山进入昌化，向来自杭州的援军说明徽州府的情况。
十一月五日，张天禄率领一万多士气低落的部下撤离绩溪城，那惶惶然的模样就好像一群丧家之犬。
昱岭关下，张存仁攻关已经好几天了，他派人抓捕了不少山民拷问，打听徽州府的消息，渐渐了解那里发生了什么。
张存仁对张天禄攻下徽州府城又丢失了徽州府城懊恼不已，如今张天禄夹在惠州府城和旌德城之间，若无意外，张天禄怕是指望不上了。
现在，张存仁也有些进退维谷，想进军徽州府，又被挡在昱岭关外，想退回杭州或者转攻浙东，又担心遭到杜铎的责难。
张天禄率军撤离绩溪城不久，龙云便率军进驻绩溪城，当然，龙云所部只是暂驻而已，在郭臻的计划中，龙云所部另有重用，绩溪城最后需要交给张煌所部义军镇守。