苏轼流寓惠州，无盖顶茅，无立锥，幸叼程才的面子，再度迁入合江楼，但楼在三司行衙内，决非外人所久居。
绍圣三年（1096）正月，程才将被朝廷召，则合江楼就寄住不了；何况苏迈方在活动指派粤中的差遣，假使情功，儿孙皆至，合江楼住不够。朝廷公诏告“元祐臣僚，一律不赦”，苏轼已经断了北归的希望，决就在惠州落籍，又岂不弄房子，蔽风雨。所，致程才书说：
兄此，恐寓行衙，亦非久安计，意结茅水东山，但未有佳处，徐择尔。令长子迈此指差遣，因挈儿子一房，次子迨且令设法赴举。
二月间，苏轼找了归善县城东面的白鹤峰一块数亩的空，面临东江，景色甚，就将它买了。
白鹤峰紧靠江滨，沿江筑城，就利此山深入水中的石脚及山壁峭拔，筑城址。筑城取山土，刨平了一段峰顶，苏轼买的就是方空。故老传闻该旧有白鹤观，现在已废。
白鹤峰头，此一方平，四面山势陡，山有一两户人，房子低该。形左右稍广，前则较狭隘。
苏轼按形，打算造屋两进；前面屋三间，门房，中间隔庭院，植花木；二进堂三间，拟题“德有邻堂”；宅左侧较宽阔，拟造居室、庖厨、厕所等；在此面，造书室，拟题名“思无邪斋”；周廊庑，共计屋二十间。
建造图粗定，就托人河源找木匠头王皋，估计斫木陶瓦的数量，仍叫一姓蒋的工头在河源购买木料。在惠州，找木匠，似乎不甚易，因苏轼有一封给博罗县令林抃（）的信说：“丰陆数木匠，请假暂归，日不至，敢烦指挥与押送，幸。”木匠弃工不顾，居劳动县太爷拘送，其难知。
，他又派苏河源，亲访县令冯祖仁，督促蒋亲 斫木，忙了一月。
其，与南华重辩书说：“行馆僧舍，皆非久居，已置圃筑室，苟完计。方斫木陶瓦，其，在冬中。”
六月间，苏迈已经授韶州的仁化县令，即将挈南。其，苏轼从前在湖州的僚友陈师锡，又派遣专差前探望，复书中述说他的近况：
……轼谪居粗遣，长子已授仁化令，今挈矣。已买结茅，终焉计。独未甃墓耳，行亦。杜门绝念，犹治少饮食，适口。近又丧一庖婢，乃悟此，亦有定分，遂不复择，粟连毛，遇辄尽尔。……
苏轼是绍圣元年（1094）十月初二惠州的，被招待暂寓合江楼，住了六，就搬嘉祐寺了。在嘉祐寺住二年的三月十九，因程才的意，复迁合江楼，住了一年零一月。至三年四月二十日，他又不不再搬回嘉祐寺住，与重辩书说：“不久留，占行衙，法不久居。”是一原因，次则苏轼既水东造屋，每日监工，中隔江，其船桥尚未造，往甚不便，所程才两月，他就搬回嘉祐寺。搬搬，不定居，竟水的飘蓬一，望白鹤峰的新居早日落，则“庶几其少安乎”！《迁居》诗曰：
前年水东，回首夕阳丽。
年水西，湿面春雨细。
东西两无择，缘尽我辄逝。
今年复东徙，旧馆聊一憩。
已买白鹤峰，规终老计。
长江在北户，雪浪舞吾砌。
青山满墙头，䰀鬌几云髻。
虽惭抱朴子，金鼎陋蝉蜕。
犹贤柳柳州，庙俎荐丹荔。
吾生本无待，俯仰了此世。
念念劫，尘尘各有际。
观生物息，相吹等蚊蚋。
此诗眼界澄明，意境超，实则虚无中透着悲怆。
佛说念念劫。光那快，俯仰间，就完一辈子。人不是世界中的万物一，物虽各有分际，但人超越世界万有，观生物息相吹，则人在世界呼吸，与春田野中移动的气流（野马）、飞扬的尘埃、蚊蚋生息世，不是一。
造屋的工程，进行算顺利，将近年候，已经计算完工的日子。新居西，有两近邻：一是林姓的老媪，酿酒业；一是老秀才翟逢亨，很有一点问。苏轼有晚，走翟门口，就进拜访了他。诗二首，其一云：
林行婆初闭户，翟夫子舍尚留关。
连娟缺月黄昏，缥缈新居紫翠间。
系闷岂无罗带水，割愁有剑铓山。
中原北望无归日，邻火村舂往。
山有水源，饮水须江边汲取，甚是不便。苏轼决定在新居凿井一口，约两邻居，共享此井。新居的庭院需点花木，写信向程侔，书曰：
白鹤峰新居，从侔求数色果木，太则难活，太则老人不待，酌中者。又须土碪稍，不伤根者。柑、橘、柚、荔枝、杨梅、枇杷、松、柏、含笑、栀子，谩写此数品，不必皆有。仍告书，记其东西 。
绍圣三年的半年间，苏轼在惠州的几朋友，纷纷走了，惠州守詹范罢任（方子容代），章楶罢了广州任（王古代），有循州太守周彦质，在那两年，与苏轼书问无虚日，忽又罢归，依依不舍，特惠州相伴半月才走。初是朝云新丧，赖朋友乐，聊排遣；不料一倏又风流云散，孤独又倔强的老人，情不免落寞，《陶运四首》一说：
我视此邦，洙沂。
邦人劝我，老矣安归。
我幽独，倚门或挥。
岂无亲友，云散莫追。
苏轼《陶贫士七首》诗引说：“余迁惠州一年，衣食渐窘，重九伊迩，樽俎萧，乃渊明《贫士》七篇，寄许、高安、宜兴诸子侄，并令同。” 其实候，虽说贫穷，不算真捉襟见肘的步，《陶乞食诗》，说：“幸有余薪米，养此老不才。”但白鹤新居将完工，他那一点微薄的积蓄，却已真光，了囊空洗的步了。苏轼钱，向撒泼，先一副热，做慈善业，毫不顾虑己。《寄罗浮重辩书》说：
近日营一居止，苟完已。……久忝侍从，囊中薄有余赀，深恐书生薄福，难蓄此物。此已，收葬暴骨，助修两桥，施药造屋，务散此物，消尘障。今则索，仅存朝暮，渐觉此身轻安矣。
间快，钱花更快，一旦生活问题逼，苏轼动脑筋他那宁远军节度副使的俸料，将政府给的折支券请领实物，变卖。责官俸料，本不，经衙门克扣，市场折价，概换三的钱，且申请了十八月，拿不手。苏轼办法，写信托广守王古帮忙，书言：“某宅子，六七百千，囊一空，旦夕忧。有一折支券，在市舶许节推处托勘请。前年五月请，不，至今云：未有折支物。此在漕司一指挥尔，告一言志康。”志康，孙勰字，是苏轼老友孙介夫子，是他省试的门生。
苏轼的经济情况，非实在窘迫万分，他不在意点责官俸料的折支券。他在意，却领不货，变不了钱。
消息，苏迈已带了己弟的眷，了虔州，预备从虔州换乘船，由龙南江方口陆，至循州溯流惠州，苏轼派前往虔州迎接。
至是（绍圣四年二月，1097），白鹤峰新居，指日落了。座山居，虽限经济力，不算是很的建筑，但其一砖一瓦，一花一木，是苏轼己设计经营的，着实不同凡俗。
从白鹤峰，历级，门有亲的两株柑橘，此花犹盛，屋内所古荔，绿叶铺满墙头。穿前庑三间平房，则是一院落，花木错，清芬扑鼻。径升石阶，就是“德有邻堂”，是正厅，它的特点是特别宽阔高敞，所惠州新守方子容参观，诗赞说：“遥瞻广厦惊凡目，是中台运巧。”
左边是一组列的居室，绕竹篱，分内外，篱间杂栽花草，颇饶幽趣。右侧“思无邪斋”，是苏轼的书房。书房的一头，一窗，则江山数百间的景色，朝云夕霭，水光岚翠，纷纷延入屋中，与书斋不分割的一部分。
书斋面，有门，门就是两贴邻——酿酒的林行婆老秀才翟逢亨。
绍圣四年二月十四日，老人先嘉祐寺迁入白鹤峰新居，等待子媳孙儿的。陶渊明《运》诗：“斯晨斯夕，言息其庐。”老人环顾新居，觉此言似乎他今日所，很高兴：“长子迈与余别三年矣，挈携诸孙，万远至，老朽忧患余，不无欣。”拈笔陶《运》四首，
（本章未完）