皇帝的确觉得西山上冬日太冷，不适宜季衡养胎，但他也知道季衡是看上了西山的偏远，正好避开人们视线。
皇帝念念不舍和季衡告了别，自己回了宫去。
而柳姝成了此行的牺牲品，伺候季衡自是不成了的，再说皇帝当时那话本就是试探和吃醋之词，即使她真跟了季衡，也不会有好结果，于是这下，她根本没有被带回城里来，反而被打发去了皇家的静虚庵里伺候里面的先皇的那些被发派过来的宫妃。
季衡一番思索之后，于八月十八一大早乘马车去了西山。
皇帝提醒了季衡，虽然他现在肚子还丝毫不显，但是谁知道会什么时候突然就明显起来呢，与其那时候遮掩，还不如早作打算。
因之前季衡丝毫不露痕迹，只让许氏收拾东西，所以当他那天早上要离开时，伺候他的女官杜若姑姑才知道这件事，想要将季衡拦在那里，但季衡只说了一句话就让杜若姑姑放了行。
季衡说，“皇上尚且不能留我，你又何必。”
杜若女官让了人去给皇帝汇报此事，但皇帝在接见大臣，等知道时，已经是午时，季衡已经走了。
好在付扬心思比较灵活，看季衡要走，也不阻拦，只是和他说了几句话，季衡希望自己出城并不引起人注意，随行之人自然不能太多，所以付扬只安排了最放心的四骑人马便衣一路随行护卫。
杜若女官担了照顾季衡的职责，看自己是留不下季衡的，所以也就带着人跟着收拾东西随行去照顾了。
季衡当天就在西山季府别院里安顿了下来。
仲秋时节，正是西山红叶满山之时，风景优美，季衡对许氏说，“即使为这一山美景，在此长居，也不会寂寞。”
许氏则是没有季衡那些风雅心思的，道，“夏日还好，冬日下大雪就不大方便了，肉类菜蔬不易送来。”
皇帝得到季衡已去西山别院的消息，知道自己无力阻止，只好接受了这个事实。又让人送了些东西去，再过几日，他才有时间上了西山别院去看季衡一趟。
上午见了大臣，午膳一用，便出宫策马前往西山，身边一个内侍没带，只有几个功夫最佳的侍卫随行，如此恣意的行为，让言官知道，定然少不了被参奏数落。
但对皇帝来说，自从季衡有了这个孩子，似乎季衡没什么变化，他自己却是年轻了好几岁一样，满身上下都是欢喜之气，带上了青年的清狂不羁。
皇帝一路策马，因是好马，只花了不到两个时辰就赶到了季家别院里，是时季衡正在水潭边钓鱼。
水潭不浅，没想到鱼还不小，季衡已经钓上了两条，皇帝一来，他就正好又拉上一条。
皇帝走上前去，道，“你倒是好兴致。”
季衡差点把手里的鱼掉了，一边将鱼放进水桶里，一边说，“你怎么来了。”
皇帝站在他旁边看桶里的鱼，说，“怎么这般小。”
季衡道，“冷水鱼本就不易长大。这已经算是大的。”
说着，又问皇帝，“你要留下夜宿吗？”
皇帝笑着点头，“正是，所以有劳君卿收留了。”
说完还作了个揖。
季衡看他一身藏青色便装，一路想来辛苦，有点风尘仆仆的意思，也就不钓鱼了，说，“走吧，皇上，我也该尽地主之谊。”