1928年秋，蒋介石一次北平（即北京）。段祺瑞的侄子段宏纲居住在北平，且与蒋介石的幕僚吴忠信认识。经吴忠信介绍陪同，蒋介石与段宏纲相约在北京饭店见了面。
一见面，蒋介石就段宏纲说：“我亦保定陆军堂生，段先生是我的老师。”接着便询问了段祺瑞的居生活情况。
随，蒋介石吴忠信说：“我因公务繁忙，不前往津望段先生，请你代表我。”午，在段宏纲的陪同，吴忠信津谒见段祺瑞。
返回北平，吴忠信向蒋介石进行了报告。知段生活确很困难，蒋介石马让人给段祺瑞送两万元。在的三四年内，他向段祺瑞赠送几万元生活费，段的生活问题遂了解决。
蒋介石此举，既是念及往日的师生情，同有加强政治联络的考虑。因此蒋介石国民党在北方的政治力量比较薄弱，亟须借助段祺瑞在北洋的声望巩固己的权力位。
惦记着段祺瑞的，不光有他的生，有蠢蠢动的日本人。1931年，日本通九一八变侵占东北。慑国际舆论，他不敢明目张胆直接东北进行统治，是就在中国的政治舞台寻找适的人选做傀儡。
日本老牌特务土肥原此在津积极活动，准备在溥仪段祺瑞二人中择其一关组织政府。段祺瑞够进入土肥原的视线，是因他在北方的影响力及执政“亲日”的历史，但段祺瑞“亲日”有前提，那就是从中国的国利益，与相悖的他是坚决不愿做的。
在接受津《公报》的记者采访，段祺瑞说：“盗已入室，但亦未必即据己有，有给他些东西，让我己收回再说。”他表达的意思很明白，即他在东北另外立一与南京政府立的政府，答应日本的一些求，但绝不同意东北从中国分裂。
段祺瑞的态度让土肥原深感老头不糊弄，即便了关外，未必肯俯首听命，那弄巧拙，反日本不利。他溥仪拉连，并1932年3月立了伪满洲国。
1933年年初，日军先攻榆关，再攻热河。东北军不战溃，战火烧向长城一线。日本外务省次官吉田茂奉日本政界元老西园寺命，津找曹汝霖，他请段祺瑞面，与西园寺一，中日在野元老的身份共同“调停”斡旋，商定中日两军“就停战”。
在曹汝霖的陪同，吉田茂拜见了段祺瑞。知方意，段祺瑞即明确答复，“调停”，但撇东三省，“调停”就无从谈。“我在野人调停，说话有根据，局若问东三省，将何答复？我单从就停战调停，恐怕有简单。”
他认：“现在中国军队气焰高，不关东军。若说停战，应由日本先停，因次是日本先战的。”
的求显不日方所接受。吉田茂见话不投机，很难再谈，身告辞。
送走吉田茂，曹汝霖忍不住抱怨：“芝老，人是真希望平的呀！况且初支持你又不遗余力。”
段祺瑞则犹有余愤：“欺人太甚，是忍，孰不忍！”
日本一边举兵关内动进攻，一边酝酿建立“华北国”，所选中的一人就是段祺瑞。王揖唐利熏，在望段祺瑞，常常含蓄的话进行试探，企图劝段祺瑞日本人做。
蒋介石风闻，不断派民间人士专使北，请段祺瑞南，并说明他果继续留在北方，恐日本人所利。经南方代表一讲，段祺瑞才明白王揖唐的意，是便准备动身海。
王揖唐知急忙前劝阻，且话语渐渐露骨，说段的业在北方才取功，虽现在穷，将总有机头，千万不南。段祺瑞此很不满意，人说：“王揖唐不怀意，我教训他。”
等王揖唐再，段祺瑞就直言不讳他说：“我是中国人，决不做汉奸傀儡，就是你己应该，不不祖先、父母子孙代。我决计南方，不再说了。”
除王揖唐外，段宏业等少数人曾南持有异议，段宏业甚至此吴光新拍了桌子，但段祺瑞一言裁决：华北局面愈愈复杂，我离旋涡乃是策。
1933年1月21日凌晨，段祺瑞乘专车离了津站。位称“吾老矣，无”的老人在告别北方的一刻，己往的政治生涯画了一足豪的句点。