吴宓不一岁生母李孺人即病逝。吴宓其母的音容笑貌毫无记忆，无法象，此，他引终身恨。很研究者认：吴宓幼年母爱的缺失影响了他一生的情爱观。
吴宓在祖母的溺爱生活了12年，但他说并不是一份有益的赐予。晚年，吴宓曾在编年谱中追忆祖母己的溺爱，反思份溺爱己的影响：“（1）溺爱，纵容甚。不但使全人皆不服，且养了宓许不良的行、习惯。（2）宓一生感情，冲动甚强。往往一感情所激，固执见，孤行己意，不辨是非，不计利害（乃悔悟）。又己勤奋劳苦，不知何寻欢求乐，无逸豫情，少怡悦意。即是：工，不休息。紧张，不纵逸。人，则太计较与责难——皆类似（杨太淑人），由不觉（无意）的摹仿者。”
吴宓年名，他的同乡民国元老右任在一首诗写他父子：
仲旗公远在西北边关求功名，所吴宓的实际生活是由父亲芷敬公及续弦雷孺人照料。祖母杨太淑人怕吴宓受母虐待，便亲照料吴宓。1905年冬，吴宓被送往三原县北城，师从泾阳王麟编读书。祖母随同吴宓移住三原，陪伴孙儿读书，直二年6月病逝。
泾阳吴老字仲旗，其子名号陀曼。
父侠子者，我亡命蒙疏饭。
一次因祖母继母的矛盾，吴宓遭受了平生“此一次”的体罚：
1904秋，某夜。宓读完《左传》中陈公子完奔齐一长篇，背诵，杨太淑人始同宓寝，已甚迟矣。中宵，杨太淑人忽，将宓重责痛打一次，就炕铺压宓俯卧，两手力拧（扭，扯）宓、腿、臂等处肌，至红肿，宓哭叫。芷敬公不敢，雷孺人不便。独有刘妈闻声驰至，涕泣抱宓怀，极力救护，劝止。杨太淑人旋即放手，侧坐。泪雨。久，杨太淑人往外间堂屋正中椅端坐，刘妈侧立，扶持宓跪其前。杨太淑人坚持送宓至井边，命宓即投井死。刘妈苦谏，相持。其各静默，直至明晨，始各归，寝息。