紀曉嵐晚年，對圍棋有著濃厚的興趣。並且號「觀弈人」。他有兩套特別的棋子，是石料，圓潤秀，是朝鮮使臣鄭思賢贈給他的。黑子是海灘的碎石，被少年的潮水沖激；白子是一種貝殼，讓海水打磨晶瑩透亮。
兩者雖不是難的物品，但撿尋來，取其厚薄均勻、輪廓圓滑、色澤一致的，卻頗費功夫，非一朝一夕力所的。紀曉嵐非常喜愛這副棋子，放在書齋裡面，閒來玩，後來被其友人范司農取。范氏死後，不知棋子落，曉嵐為惋惜不已。
紀曉嵐與竹林寺主持了雲尚，是一對棋友。一日午後，曉嵐趨訪竹林寺，時逢了雲尚外未歸，曉嵐就獨坐廊等候。及了雲尚歸來，曉嵐施禮誦：「竹林等僧歸，雙手拜四維羅漢；月門閒客住，二山尖峰。」「四維」合為「羅」，聯中「月門」合為「閒」，「二山」合為「」；「」顛倒相疊，正是一個「尖」字。兩聯，謂絕妙對兒。
曉嵐與了雲尚，棋來便忘記一切，直至深夜仍不肯罷休。尚來報，夜深寺門已閉，曉嵐擲子「閉」字聯：「門內有才方是閉」；了雲隨口答：「寺邊無日不知時。」
足見了雲尚是一位飽學的高僧。
在兵部尚書任，紀曉嵐曾督師赴粵。有一晚，一位王姓棋友棋，曉嵐的棋藝本不王某，但是一晚卻連勝兩局，中正感奇怪，意動問，王某卻先開了口：「貴屬劉鼎臣，承蒙紀人器重，感戴至深，今有個請求，托兄弟代陳，不知該說不該說？」「噢，原來這就是你今晚輸棋的原因！」紀曉嵐面有不悅色，「有話請您講吧。」「情是這樣的」，王某翼翼說：「劉兄謀陽朔縣的縣令，希望紀人鼎力全。」「做縣令，還選方？哪有這麼意的？」紀曉嵐的話語，帶著一股譏訕的意味。
「紀人乃是當今朝廷的重臣，聖眷隆渥。肯面保薦，必不問題。」王某陪著一副諂媚的笑臉，說這幾句恭維詞，顯是先準備了的。
紀曉嵐站身子，背剪雙手，搖搖頭說：「倘若官擇，在寧肯放棄一品員不幹。做一名陽朔令，於願足矣！」「紀人您真會說笑話！」王某不相信紀曉嵐的話。
紀曉嵐正色說：「這是我的肺腑言，絕不是同你說笑話。」「這是為何？」王某不解問。
「陽朔山水，秀甲！」紀曉嵐說：「我閱兵過陽朔遊覽，至今仍夢寐不忘，若是為陽朔令，置身畫山繡水間，其樂無窮，何復他求？」王某囁嚅著還再說什麼。紀曉嵐冷冷說聲：「不必再講了。」說畢拂袖入，從此不再跟王某棋。
屬吏劉鼎臣，聽說這回後，慚形穢，便辭職離了。
紀曉嵐棋癮雖，但不計較勝負，他常引蘇東坡的一句詩說：「勝固欣敗亦喜。」又極推崇王安石的觀點：「戰罷兩套收黑白，一樣何處有虧？」早年在鄉讀書時，紀曉嵐曾聽從兄紀方洲講過一個故：景城真武祠中，有一士酷棋，人皆稱「棋士」，反倒隱沒了本來的姓名。一日，方洲來棋士居處，見几置一棋局，三十一子，是棋士外了，就坐來等待。忽聽窗外有喘息聲，走來時，原是棋士一個人奪一棋子。四手相持，力竭一齊倒，喘息聲。為爭一局勝負，爭執此實在笑。
紀曉嵐又曾聽從兄紀坦居講，丁卯鄉試時，見場中有兩個考生，畫號板為棋盤，拾碎炭為黑子，剔碎白灰塊為白子，對著不止，終場時，兩人一齊了白卷。紀曉嵐認為，對弈，「消閒遣日，原不妨偶一為；為失喜怒，則不必。」紀曉嵐浮沉宦海，對世態炎涼感受頗深，將比局中對弈，更頗有一番哲理。他的結論是：不求勝負，「言則易耳」。
從烏魯木齊被召京城的那年冬，有人拿來一幅《八仙對弈圖》，求他題詩。面畫的是韓湘子與何仙姑對局，呂洞賓、漢鐘離、藍采、張國老曹國舅，五仙旁觀，鐵拐李超局外，躺在樹的石頭，枕著葫蘆酣睡。此畫意境深遠，頗富啟迪人生的意義。紀曉嵐為所動，題詩兩首。
其一
十八年來閱宦途，
此久似水中鳧。
何才踏春明路，
又仙人對弈圖？
其二
局中局外兩沉吟，
猶是人間勝負。
哪似頑仙癡不省，
春風蝴蝶睡鄉深。
紀曉嵐跡生平，同蘇東坡、王安石一樣，是說說罷了，未踐其言。他號「觀弈人」，是一種良的願望罷了。
他與珅的爭鬥，此時期雖顯風平浪靜，但在中一刻未曾休止過。是曉嵐皇偏袒珅，珅更是有恃無恐。於是，曉嵐時時注意迴避，避免與珅正面鋒，像局外觀棋一樣，靜觀默察。
丙午年，珅指使人劉全，在京中買了一處盤，為珅營造府。為了免除朝中臣的議論彈劾，一切宜劉全的名義辦理。但其建造格局，超了清廷的規制，被人們了來，引朝官們的義憤。清朝建造房屋的規格是很的。比除皇帝外，任何人不黃琉璃瓦綠琉璃瓦；房的規模，王爺不超過六六三十六楹房屋的房間數，不超過九百九十九間半。超過了便算違制，應受處罰。
御史曹錫寶與紀曉嵐甚深，曾隱語說參劾珅，紀曉嵐不明說，就宋人《詠蟹》詩中的兩句贈曹錫寶：水清詎免雙黧黑，秋老難逃一背紅。
意思是說，現在參劾珅，恐怕時機不夠熟。但曹錫寶沒有聽從紀曉嵐的告誡，毅了一奏章，參劾珅奴劉全建造房屋規模宏、服奢侈、器具完，恐有倚借主勢，招搖撞騙。
乾隆皇帝當時在熱河行宮。過奏折，中明白「醉翁意不在酒」，狀告劉全是虛晃一槍，鋒芒所指是對準了珅的。皇帝知曹錫寶與紀曉嵐有，便懷疑是紀曉嵐因年海升毆死妻子吳雅氏一案，對珅懷仇恨，唆使曹錫寶參奏，圖報復。
六月底的一，紀曉嵐在直廬當值，忽聽傳來一聲：「左御史紀昀接旨。」紀曉嵐趕忙跪在接旨，原來是乾隆皇帝給軍機臣他本人的諭旨：「前據曹錫寶奏：珅人劉全房屋宏、服奢侈、器具完恐有招搖撞騙等一折，已留京王臣等查辦矣。曹錫寶果見劉全倚藉主勢，乃徒托諸空言！或其言本參劾珅又不敢明言，故人為由，隱約其詞，旁敲側擊，為將來波及步乎？或竟係紀昀因年海升毆死伊妻吳雅氏一案，珅前往驗真傷，懷仇恨，嗾令曹錫寶參奏，為報復計乎？此乃朕揣度意，若不於此，則曹錫寶奏何由來？著留京王臣，詳悉訪查詢問，務實在情節。
朕於此案總期根究明白，並非因此一虛言治珅，更非為珅開脫。留京王臣等不誤會朕旨，將曹錫寶加詞色，有意吹求，使原告轉為被告，亦無是理。務須平靜氣，虛衷詳問。曹錫寶果指全兒借端撞騙款跡，訪查實，即一面從嚴審辦，一面據實具奏，不同珅稍存回護。若稍存回護，是乃陷珅亦陷。」「又據珅稱：人全兒已熱河，曾面加詰問。伊供：『不但從不敢招搖滋，接官員，即所謂房屋寬敞，器具完，容或有，亦非挾外物。我於曹御史名姓素未聞知，彼又何從目睹，等語，雖係一面詞，亦尚近理。曹錫寶身為言官，必不至奴僕，其車馬衣服，尚云遇諸路途，至房屋寬敞，器具完，非身臨其何知悉乎？至全兒代伊主辦理崇文門稅務有年，稍有積蓄，蓋造房屋數十間居住，亦屬理常。從前及現在，內外臣人中似此者恐亦不少，若無似殷士俊等有真贓實據，概車服房舍故，查拿治罪，則在京臣僕，安人人禁！且必人人側足立，亦斷無此政體。設或全兒在崇文門代伊主經營稅課，於額稅外有加增，若累商民肥囊，綿恩簽派番役，一經訪查無難實。儻王臣等嚴行察訪，全兒並無生疑跡，曹錫寶徒無根言，遽行陳奏，博建白名，朕又何空言遽入人罪乎？將此由四百諭令留京王臣等並令紀昀知。即將查訊情形先由四百馳奏，不必俟本報使。欽此。」
聽完皇的諭旨，紀曉嵐不由驚了一身冷汗。儘管皇擺的是一副公正無不棄不倚的面孔，但這裡邊的真意，正是對珅的偏袒回護，紀曉嵐本來己沒參與此，是局外人，皇卻偏偏他拉進來。假曹錫寶不指實，因獲罪，就株連我頭，這便了對局者負局，觀弈者獲罪了。
紀曉嵐回中，坐臥不安，更不敢與曹錫寶接觸，唯恐授人柄。那年因盧見曾案所受牽連，至今他有餘悸。再說眼前這件，果不別人牽扯進，即使曹錫寶不指實，皇會寬宥。因
（本章未完）