1967年钱穆偕夫人迁居台北，他选择在山清水秀的外双溪建屋舍，胡琦女士亲设计绘制了屋舍图。蒋经国先生听闻此，就图纸阳明山管理局办理施工。二年，钱穆夫妇搬入新居，那，钱先生在此居住了20年。
所选择落脚外双溪，钱穆表示，住在外双溪台北“故宫博物院”附近，就近利故宫图书馆，世界最丰富、珍贵的善本书。
“素书楼”名源钱穆无锡七房桥五世同堂故居中二厅的名称。先人取名源已不考，钱穆尝解，或衍《中庸》所记：“素贫贱，行乎贫贱；素夷狄，行乎夷狄；素患难，行乎患难；君子无入不焉。”胡琦指，钱穆年幼患伤寒，又服错药，命怠危，全赖母亲日夜陪他在故居素书堂养病痊愈，钱穆纪念母亲生养恩，因此命名。
素书楼不，兴建周边是一片荒凉的墓，杂草丛生，产权阳明山管理局所有。表达师的敬重，台湾局将素书楼无偿全权给钱穆夫妇打理。房舍由胡琦亲设计，楼内一砖一石、一草一木是主人年血照顾；步两旁的枫树、房舍方的竹子、四棵苍劲的古松，更是素书楼知名的景观。向崇尚朱熹理的钱穆，在素书楼藏有一座朱熹的木刻像，又将朱熹所言“静神养气”、“立修齐志，读圣贤书”写联，张贴楼中。客厅又增添了1974年钱穆八十寿诞蒋介石题赠的红“寿”字轴等（注：贺寿“九”不“十”，实79岁生日）。
从搬入素书楼始，有18年的间，钱穆先生在授课，客厅了教室。钱先生的门生中，有人坚持18年连续听课，从生听教授，又带着生听课，生按辈分或与先生同桌，或坐在厅内一隅。钱穆一口无锡官话，神采飞扬，从不带课本。正式修课的研究生依惯例坐在钱穆身旁的圆桌边，旁听者行觅座。讲课固定每周一午4至6，但总是提前半讲，延结束，座无虚席，台北重的文史沙龙。
1986年钱穆生辰那，他在素书楼弟子了“最一课”，并留最的赠言：你是中国人，不忘记了中国！从此告别杏坛。年师向围坐身边的弟子最赠言的感人一幕，今已经黑白影像，永远定格在客厅的墙。
1990年6月1日，95岁高龄的钱穆先生不愿任“立法委员”的陈水扁指控他霸占公产，毅搬离了素书楼。中央日报刊文指钱穆搬“素书楼”，是“国社不尊重知识分子”（裴普贤语）。素书楼改钱穆纪念馆，钱夫人曾感叹：“宁死人办纪念馆，不给活人住。”1998年5月22日，竞选连任台北市长的陈水扁跑素书楼参观，并声称向钱穆夫人说抱歉。此，台湾舆论认，陈水扁有说抱歉早该说了，何必等年，何况师已乘黄鹤，再说抱歉又有何？