１９０４年６月１０日，徽因生杭州。祖父林孝恂知孙女生的消息，喜悦吟哦着《诗经·雅》中的诗句：“思齐任，文王母。思媚周姜，京室妇。姒嗣徽音，则百斯男。”他孙女名徽音。
徽音改名徽因是３０年代初的情。经常有品见诸报刊，另一位经常写诗的男者名叫林微音，报纸杂志在刊他的品，常两人的名字搞混。《诗刊》此专门更正声明。
徽因说：我倒不怕别人我的品了他的品，我怕别人他的品了我的。从那，林徽音遂改名林徽因。
林徽因原籍福建闽侯。祖父林孝恂字伯颖，光绪十五年（１８８９）年进士，授翰林院编修，一直在浙江做官。历任金华、石门、仁、孝丰知县海宁知州。在任期间，他创办了养正书塾、蚕桑职业堂，是清朝末年创办新的先驱一。
林孝恂有五女二男七孩子，徽因的父亲林长民是长男。了林子侄辈的教育，林孝恂在杭州中设立了塾。塾分国与新两斋，国延请林纾主讲，新延请林白水主讲。徽因的父亲、叔叔姑姑，从打了国深厚的根基，又受了新的启蒙。
徽因两岁那年，父亲赴日本留，在早稻田习政治法律。徽因与母亲跟着祖父母生活。
在徽因幼年的记忆，父亲就是那年不在的人，父亲就是一封封从日本寄回的信。那些信是写给祖父母的，信中抨击弊，谈论政治，抒抱负；徽因母亲是父亲在信的末尾一笔带的一句问候。
徽因４岁了。祖父让跟着表姐，由姑母蒙读书。
徽因喜欢表姐在一读书玩耍。表姐孟瑜、二表姐孟亮是姑母的女儿，三表姐语儿是三姑母的女儿。孟瑜比徽因５岁，孟亮比徽因３岁，语儿比徽因两岁。四女孩在一，一像一人，一又一点争执不休。姑母总是由着闹，不不，是轻易不面调停的。
姑母常人赞叹徽因聪颖灵秀。一读书的几姐妹中，数徽因年龄最、最贪玩，听讲似漫不经，每叫背书，总是滔滔诵，口齿伶俐清晰。
１９１０年，林长民从早稻田毕业。回国，与同刘崇佑在乡福建创办了福州立法政堂，他担任校长。
１９１１年，武昌义爆。林长民法政堂给别人管理，他奔走海、南京、北京等，处宣传革命。南京临政府立，他就任临政府参议院秘书长。他组织了“共建设讨论”，拥戴流亡日本的梁启超领袖，并促其回国。
民国初年，风云际，各政治力量“乱纷纷你方唱罢我登场”。林长民民初立宪派的名人，始终旗帜鲜明拥护共，反复辟。张勋复辟期间，任国务院参的林长民,支持段祺瑞讨伐张勋复辟，被段祺瑞政府任命司法总长。
随着林长民升迁的脚步，徽因一由杭州搬海，迁居北京。