在朝廷呆的时间长了，张廷玉冷眼旁观，对太子与众皇子之间的党同伐异，为争夺皇位继承权而进行的愈演愈烈的斗争，已了如指掌。
在三十多个皇子中，大体分为三派：支持太子胤礽的被朝野暗中称之为“***”，其中包括最精明能干、办事最有魄力的四阿哥胤祯、十三阿哥胤祥、十八阿哥胤衸等人；被称之为“贤王”的八阿哥胤禩，是与太子争权最有实力的另一派，麾下有九阿哥胤榶、十阿哥胤礻我、十四阿哥胤禵等；第三派是势单力孤的大阿哥胤褆，他下面就两个态度暧昧的三阿哥胤祉、七阿哥胤祐，没有真心实意的帮手，但毕竟是老大。
自从知道四阿哥胤祯、十三阿哥胤祥在户部的果敢作为，八阿哥胤禩在刑部与九、十、十四阿哥狼狈为奸，沆瀣一气，贪赃枉法捉弄皇上；目睹了皇上对胤禩等皇子的愤怒与失望，对太子胤礽恨铁不成钢的忧怨，张廷玉便心知肚明：太子的未来扑朔迷离，大清江山将落入谁手尚须待以时日才会明了。
在政局未明之前，张廷玉恪守自己给自己订的一条金科玉律：诚诚恳恳辅佐皇上，为国为民分忧，决不参予“***”、“贤王党”、“老大党”之间，任何避着康熙拉帮树派结党营私的斗争！他觉得，在康熙未驾崩之前，无论去帮哪一派都只会越帮越乱。
尽管外面拉拉扯扯，吃吃喝喝，串门串府搞得热火朝天，也有皇子上他府上表示亲热，套套近乎，施以封官许愿小恩小惠，他都不为所动，每天照样按时去上书房入值，跟康熙形影不离。
在张廷玉的心目中，康熙并不是一些谀臣献媚所称颂的“万世明君”、“聪颖睿智”、“英明卓绝”那么伟大，他也有常人所有的弱点——比如生活的腐化、贪恋女色、后妃太多，以至生下三十几个皇子、二十多个格格，现在儿孙数百人，连他自己都认不全，也搞不清，究竟这其中哪些是他自己的血脉，哪些是野种。人无完人，说到底，康熙在历代皇帝中还是比较聪智、爱民、务实的君主。耳濡目染，张廷玉对此深有所感。
比如康熙四十三年十一月丁酉朔，出现日蚀。那时张廷玉陪康熙视察永定河，立即起驾还銮，回到紫禁城，康熙登上天文台，亲自以仪器测定日蚀与钦天监测定的七政历不符，钦天监官只好请罪免职。
接着，湖广巡抚刘殿衡建御书楼，高高兴兴上折子表功，康熙在折子上严厉批曰：建御书楼徒然糜费钱财，此后严禁藉修建侵帑累民者。其爱民之心溢于言表。时，四川陕西总督博霁疏参凉州总兵官魏勋年老，康熙让张廷玉拟旨申斥曰：“魏勋前有军功，与师帝宾、麦良玺、潘育龙俱系旧臣，难得，何可耶？”对边鄙之地一个总兵，其功过都如此了解，爱护倍加。
四十四、四十五、四十六年，已年近六旬的康熙，每年多半时间都在外巡幸，督促疏濬治河工程，了解民间疾苦，及时拨粮赈济受灾地区。
两次南巡，张廷玉都陪驾在康熙左右。四十四年那一次，还是早春二月，北方大地尚是冰封雪冻，康熙便冒着严寒，启驾南巡阅河。他嘱张廷玉拟诏曰：