宋高宗在建炎三年十月八日抵達臨安後，不敢住行宮，是張才人、吳貴人等住在停泊在浙江的御船裡。當時兩路金軍還沒有渡江，宋高宗卻早已是驚弓鳥，做了隨時逃跑的準備。呂頤浩率百僚每船朝拜。御船雖，已不舉行朝會，臣僚們分批船禮謁。
十一日，呂頤浩在御船單獨面對，他見皇帝消瘦的面容，動情說：「陛邇來聖容清臞，此由國運艱難，臣愚不才，致使聖慮焦勞。陛須念祖宗與二帝宗廟、社稷付託重，稍寬聖懷，圖中興業。」宋高宗說：「朕嘗夜觀象，見熒惑方位失常。朕沿途已食素二十餘日，須俟熒惑復行軌，方復常膳。」熒惑就是火星，古人認為，的星象有異，就是預示人間有災變。宋高宗在御船魂夢不安，食不甘味，每祈禱，找來各種占卜，儘管是吉利，卻一點沒有消減皇帝的恐懼畏怯理。張才人、吳貴人等方設法，勸皇帝強進飲食，無濟於。
呂頤浩說：「目即尚未有虜人軍情，御舟雖，陛居服食，百官朝覲，亦有諸不便。行宮與御舟近在咫尺，陛不暫回行宮。」宋高宗說：「不，朕覺在御舟安便。既是軍興時節，凡百禮儀，亦須稍苟簡，比不太承平時節。」
呂頤浩見皇帝不聽，當不敢勉強。他正準備告退，不料宋高宗又提了新的移蹕方案，他說：「呂卿，臨安雖有重江險，亦不保行朝必無疏虞。朕昨夜取圖觀覽，不前越州。」呂頤浩了一，問：「不知陛於何日啟蹕？」宋高宗說：「朕已取曆日驗，十五日是吉日。」呂頤浩說：「臣謹遵依聖旨。」
十五日，宋高宗的御船啟航，一時官吏、軍隊眷屬們紛紛擾擾。從臨安越州（治今浙江紹興），有一條橫貫越州境內的運河，經蕭山縣城直抵州城。但由於人數過，船隻不足，一部分人員必須陸行。御前右軍統制張俊講究舒適，他本人與眷坐船，命令腹統制楊沂中率本軍夾河護衛御船一行。馮益獨安排了一艘座船，滿載著屬財寶，緊隨御船後。兩艘船在先後次序發生爭執，馮益現在是宋高宗最寵幸的宦官，竟在船頭罵張俊：「這廝赤老，原是個賊盜，賊面賊賊骨頭，有甚功德，敢與我爭先後？」張俊原來確是強盜身，現在卻是官為節度使，當無法忍受揭穿己底細的毒罵，他站立船頭，手舞寶劍，喊：「那廝賊閹豎，膽敢在太歲頭動土！你惡端，無人不知，本是漏網底魚，苗傅與劉正彥未殺你，待我殺了那廝，為除害！」
正在岸的侍御史趙鼎見這種情景，就聲喝：「有難，聖移蹕，你們蒙君恩深厚，不思為國排難解紛，卻在此惡語叫罵，又甚底體統？」按古代制度，御史雖官位不高，卻糾劾百官，在朝廷有一種特殊的權威。馮益張俊的叫罵此收場，各回船艙。趙鼎連夜了一份劾奏，但他按照相沿習的傳統，是彈擊宦官，並不指責張俊。
宋高宗的御船夜泊蕭山縣城，按照最近的慣例，在晚飯後，由張才人吳貴人輪流為他念奏疏，今夜輪了吳貴人。在皇子病死，潘賢妃徹底失寵後，吳貴人已逐漸取與張才人平平坐的位。的這份特殊位是來不易的。既在容貌無法與張才人比高，不不挖空思，採取其他辦法討皇帝的喜歡。知宋高宗喜歡女子的文才翰墨，就努力讀書，練習書法，近一段時期，臨摹黃庭堅的書法，竟達維妙維肖的步。宋高宗就是學黃字，吳貴人的字竟對御書假亂真。張才人慢慢意識，吳貴人竟是與己爭寵的對象，兩人開始了明爭暗鬥。但是，憑著張才人的修養，表面是決不會露任何聲色。兩人愈是爭寵激烈，表面就顯愈加親睦。
吳貴人先念了張俊的奏，接著又念了趙鼎的劾奏，當讀「明受變，於內侍，覆車轍，不不戒」一句，宋高宗就命令說：「吳娘子不須再讀。」吳貴人應聲停止了朗讀。宋高宗試一兩人，就發問說：「依你們底意思，此當何措置？」他的目光首先對著張才人，張才人說：「臣妾謹守祖宗戒，不敢議論外廷底。馮益是內侍，目今官巡幸東南，全仗將宣力。張俊在元帥府時，便伏侍官，又有勤王功，須教馮益賠禮。」
宋高宗的目光又轉向了吳貴人，吳貴人說：「張娘子底意思甚是周全。官是九重主，不宜親過問，不請張娘子宣諭張為，命張為教馮益賠禮。官另宣賜張俊，示聖恩。」宋高宗對兩人的應答感滿意，認為吳貴人更加周全，說：「張娘子便依朕底旨意，召張為曉諭。」
翌日清晨，張俊剛吃過早飯，有親兵報告說：「今有馮官求見張節使。」張俊雖在氣憤時命幕僚草奏疏，聽說馮益登船，不敢怠慢，就親迎。兩人臉堆笑，彼此顯恭敬有禮，在「張節使」「馮官」的客套稱呼中，化解了新怨。
宋高宗在十七日達越州，暫住州衙，百官分別寓居州城各處。一月間，宋廷竟完全不金軍的確實消息。當時完顏拔离速所率的金軍早已渡江，遲緩的奏報竟在二十後方才傳送行朝，杜充又在建康府虛報戰績，說金軍犯采石渡慈湖寨，已被他部署兵力殺退，予敵人重創。宋高宗接杜充的奏報後，立即召見呂頤浩，面露從未有過的喜色，說：「杜充煞是不負朕底委寄，破敵功，朕今冬無憂。召詞臣為朕草詔，具朕回鑾浙西親迎敵意。」呂頤浩感鼓舞，他原來就不主張退避越州，一直建請皇帝回鑾臨安，今算是宋高宗的允准。詞臣汪藻進便殿，不一會兒，寫就了一詔書草稿：
國遭金人侵逼，無歲無兵。朕纂承來，包羞忍恥，卑詞厚禮，遣使哀祈，無不曲盡。今諸路兵聚於江、浙間，朕不憚親行，據其害。金人尚容朕為汝兵民主，則朕於禮，敢有不恭！或必兵，窺我行在，則朕亦何愛一身，不臨行陣，踐前言，保群生。朕已取十一月二十五日移蹕，為迎敵計。惟我將士、人民念國涵養恩，二聖拘縻辱，悼殺戮焚殘禍，與其束手待斃，曷若並計合謀，同戮力，奮勵前，存國。
宋高宗十分滿意，對汪藻說：「卿詞意明白曉暢，深朕旨，便此播告中外。」呂頤浩等臣僚在最近幾個月來，還是一次見皇帝的精神竟此振奮。皇帝的詔書發表後，卻招致一些臣僚的反對，其中御史中丞范宗尹侍御史趙鼎反對尤力，他們奏，強調皇帝決不浙西冒險。
儘管此，十一月二十五日，宋高宗還是履踐諾言，啟程前往臨安府。一行船隊夜泊錢清堰時，方才馬渡戰的敗報。這對於皇帝宰相呂頤浩，了當頭棒喝。宋高宗再不敢延誤，立即令返回越州。翌日君臣不進城裡，就在運河邊的長亭裡會議，但還是按君臣禮儀，皇帝居中坐著，群臣分立兩旁。宋高宗眼球裡佈滿紅絲，神情慘淡，他首先說：「朕悔不聽朱勝非言，輕信杜充，今國既失江險，朕一夜思忖，決計前明州避敵。」
呂頤浩的精神負擔決不比皇帝輕，特別有兩件，使他深深的後悔，一是不該排除一些臣僚的非議，舉薦杜充，二是不該建議皇帝回鑾臨安。他說：「臣亦是一夜思忖，今有一策，望聖意詳度，斷在必行。」宋高宗問：「怎生底？」呂頤浩說：「虜人專馬兵取勝。虜人渡江與浙江，必是分遣輕騎追襲。今鑾輿一行，皇族、百司、官吏、兵衛底甚眾，若是陸行山險路，糧運不給，必至生變。陛若是乘海舟避敵，虜騎必不襲我。依江、浙勢，虜人亦不久留，俟虜人退，陛復還兩浙。彼入我，彼我入，此亦是兵底一計。」
宋高宗問：「眾卿又有甚計議？」范宗尹說：「海雖有風濤險，不海，亦別無善策。」其他官員表示贊同，宋高宗最後說：「朕意已決，航海底，不不行，卿等速與排辦海船。汪藻與朕草制，命范宗尹為參知政，趙鼎為御史中丞。張俊底軍馬便留駐越州，任浙東制置使。」這當是給范宗尹趙鼎反對浙西冒險的獎勵。宋時江船往往是平底船，海船則是尖底船，宋高宗原來的御船及其他舟船不入海，必須另換海船。因此，準備海船就了航海避難的關鍵問題。張俊聽說己留在越州，當並不樂意，卻不便說什麼。
十一月二十八日，宋高宗一行冒著雨，取陸路前往明州（治今浙江寧波）。連日雨路泥淖，給陸行帶來很困難，遲至十二月五日，宋高宗一行才艱難抵達明州。明州城處鄞江餘姚江的匯處，匯合浹江通海，號稱三江口，所屬定海縣（今浙江鎮海）正位於浹江的入海口。明州城的形狀並不規則，宋高宗暫時在子城的州衙居住。宋高宗張才人、吳貴人等連日在泥濘中跋涉，進入明州城後，方才安頓，有張為進入奏稟，說：「呂相公教底奏
（本章未完）