秦卫对搬入白公馆表示了极为坚决的抗拒他不是抗拒住，而是抗拒那个地方。那可是白公馆。没有一副钢筋铁骨，没有钻石般坚硬的精神意志，进了白公馆，可就别想完整地走出来了。而如果你有这些东西，就更容易死在里面。多少革命先烈，多少爱国志士，都葬身在了那里？那可是魔窟啊。戴笠想让他去住那儿，莫不是想要朝他下手了？要不是一直在心里告诉自己这不可能，秦卫保证，自己肯定已经举手投降了。
可是，不管他是怎么的抗拒，最终都没有抗拒得了戴冼的“好意”。而在被迫亲自走了一趟歌乐山之后，他果断地决定：老子就住这儿了。
想想也是，他以前不过就是个只能住小出租屋的丝，就是到了重庆之后，面儿上虽然说是住着一个收容院，可上上下下几十号人都挤在一起，最后才好容易才留给了他那么一间小院儿，可就是这么个小院儿，他还得跟沈醉、周恬分着住。而白公馆呢？是原川中军阀白驹的地方。这家伙是四川大军阀杨森的爱将，在杨森的国民革命军第20军之中任第一师师长。当时的杨森兵多将广,武器也多，大有统一四川舍我其谁的气概，就连当时的四川民间也流传着一首顺口溜，生动形象地刻画了杨森这个大军阀的权贵势力：“头顶玉帅（吴佩孚，号子玉），脚踏金螯（何金螯），背褙跛子（魏楷，是跛子），怀抱傻儿（范绍增，绰号范傻儿）。跨骑白驹（白驹），左有二王（王瓒绪、王兆奎），右有二杨（杨淑身、杨汉城），前有吴行之光（吴行光），后有郭松之云（郭汝栋，号松云），又有杨家之将（杨森子侄），并有广安之帮（杨森部下多广安同乡），前呼后拥。浩浩荡荡，将军出征去也。”
作为杨森的得力干将，白驹在四川也是权贵一方，名振一时。 这样一位统兵大将，初履重庆的时候。就被歌乐山的秀美风景给吸引住了。只觉得这儿山泉流淌、翠蔼浓浓，实在是人间仙境。于是，就修建了这座白公馆。公馆能够成为戴笠向蒋介石夫妇推荐的住所，自然也不负盛名。幽居山间的公馆，在林中若隐若现，令人浮想联翩。白驹对这座充满古诗意境的建筑也非常满意，觉得这座居所为他增添了些许人墨客的气质。使身穿戍装的他又多了一丝风雅。而白驹一向自称是唐代大诗人白居易的后裔，，所以，就以白居易的字号“香山”为新公馆起了一个雅号――“香山别墅”。
秦卫一个穷丝。一辈子都没住过大房子，还正对顾长钧能搬进北京四合院的机遇嫉恨如狂，乍一进去，哪还顾得了什么这儿以后会成为什么地方？不管三七二十一。先住下再说。
不过虽然决定住下，他还是对戴笠提了一个条件：这儿以后不许再叫什么白公馆。只能叫香山别墅，或者秦公馆！
……
“莫名其妙。还叫秦公馆？生怕别人不知道他住在这儿似的！”
戴笠亲自出面帮秦卫搬的家。因为他知道，如果不是自己亲自出面，军统里的其他人是不可能让秦卫动身的，除非动强。可如果动强，最后吃亏的肯定是他们军统。所以他只有自己出面。而秦卫搬家，整个观音庵收容院跟着来的只有沈醉和周恬两个人。戴笠还对两人的职务进行了调整：沈醉将接替周恬成为秦卫的副官，周恬则自动成为秦卫的秘书。