民国十五年（1926年）4月9日，冯玉祥将段祺瑞驱逐下台。失去了北京临时执政宝座的段祺瑞回到了天津，定居在日租界须麽街魏宗瀚公馆（魏宗瀚是段祺瑞的旧部）。自此，年已六旬高龄的段祺瑞告别了中国的政治舞台。
（冯玉祥、张作霖、段祺瑞）
在天津隐居，段祺瑞没有经济来源，只得靠旧部和学生的资助来度日。幸亏他的旧部和学生很多都在北洋政府担任高官，所以生活还能维持下去。但是段祺瑞毕竟是下野之人，风光不在了。为了节省家中开支，从不过问家里日常开销的段祺瑞，在天津也认真地管起家务，每日账目他都要过目审核。
当时段祺瑞表面上声称厌倦了政治，但他其实每天都还在读报，关注时局的发展。他与各方面的势力均有接触和书信往来（广东革命政府除外），以妄图东山再起。但是现实是无比残酷的，北伐军势如破竹，甭管是直系还是奉系都被北伐军打的很惨。段祺瑞见如此情形，也就彻底断了自己东山再起的梦想。
九一八事变爆发后，日本侵占中国东北。土肥原这个老鬼子在拉拢了溥仪后，又打算将段祺瑞也拉下水。他希望借助段祺瑞在北洋军人中的威望和影响，建立华北伪政权，为其侵略服务。段祺瑞虽然热衷于权力，但是对于出卖国家主权、当汉奸，他是没兴趣的。因此断然拒绝了土肥原贤二。
对于段祺瑞的声明大义，南京政府方面非常感激。因为南方要剿共，北方还要抗日，南京政府有点心有余而力不足了。此时蒋介石正在北京，在蒋的授意下，安徽省主席吴忠信出面联络（吴和段都是合肥人），找到了段祺瑞的侄子段宏纲。并由他牵线搭桥，蒋介石与段宏纲在北京饭店见了一面。据段宏纲的回忆：蒋先生说自己是保定陆军学堂的学生，段公是我的老师，我因为公务太繁忙，不能前往天津看望先生。这次会见后，蒋介石派吴忠信去天津拜访了段祺瑞，并送去两万元生活费。段祺瑞也因此改变了对国民政府的印象。
随着日军侵略华北的加剧，南京方面认为如果段祺瑞仍然住在天津日租借，恐怕会有生命安全。便安排了中国交通银行董事长钱永铭，让他到段祺瑞的公寓，邀请他南下。钱永铭这次天津之行，带去了蒋介石的亲笔信。在信中蒋介石恳请段祺瑞南下颐养，并表示只要段祺瑞愿意南下，什么都可以商量。恰巧当时社会上传消息，说日本人要劫持段祺瑞。在这种情况下，段接受了蒋的邀请。他对钱永铭说：我已老不中用了，如蒋先生认为我南下，于国事有益，我可以随时南行。表完这个态，段祺瑞遂即收拾行李，于第二天离开天津南下。
在途经山东时，山东主席韩复渠带领济南大小官员在车站迎接。韩复渠曾经是冯玉祥的十三太保之一，段祺瑞本来是不想见的。但是值此国家内忧外患之际，段公还是选择了与韩复渠握手言和。
火车到达南京浦口车站时，站台上呈现的情景让段祺瑞感到既意外，又欣慰。蒋介石给了段祺瑞极高的礼遇，他命令在南京所有少将以上军人，一律过长江，在浦口迎接北洋元老段祺瑞老先生。并在随后为段祺瑞举行的盛大欢迎仪式上，蒋介石第一个登船迎接，当众给段祺瑞行了一个军礼。（学生给老师敬礼）
抵达南京后，段祺瑞做了两件事，震惊了当时的媒体圈。第一件事是，发表力挺蒋介石以和国民政府的讲话；第二件事是，拜谒了南京中山陵。当年孙中山北上，段与孙曾发生过严重分歧，孙在逝世北京时，段祺瑞赌气没有出席葬礼。此次段祺瑞拜谒中山陵，一方面是承认了国民政府的统治地位，另一方面则是意在告诉国人，国难当头，团结第一。一切私人恩怨都可以放到一边。
在忙完这一切后，当天夜里，段祺瑞同随员乘快车赴上海。蒋介石电令上海市政府负责接待安排。他之所以要离开南京，是因为他一开始就没打算留在南京。因为段祺瑞有一种不屈就得性格，当年怼清廷、怼袁世凯、怼黎元洪和冯国璋，他都是这种不屈就的做派。换句话说就是段祺瑞很知趣，很淡泊，也很明智。毕竟六十八岁了，没必要待在南京这种全国的政治中心。远离南京，但又离得不太远，这才是明智之举。
段祺瑞去到上海后，蒋介石每个月都会给他送一万块的生活费。并且还精心的给段祺瑞安排在了军事参议院院长陈调元的公馆。蒋这么安排，不仅是因为陈调元的公馆足够气派，更是因为陈调元曾是段公的老部下，这能让段公感到体面。除此之外，就是每月给段公提供万元月俸，这笔钱保证了一生清廉的段公在上海可以从容生活。不过，段祺瑞对此已经不太关心了，晚年的他潜心于佛事，大部分时间都在静坐朗诵佛经，对政治已经是心灰意冷了。
1936年，段祺瑞因胃病发作，出血不止，病死在了上海宏恩医院。蒋介石得知后，拨款了二十万元，用于段公的墓地购置。并且林森、居正、于右任、吴忠信、张治中等国府要员亲临吊唁。当天国民政府明令以国葬，这是继黎元洪之后第二位享受国葬的北洋政府元首。
但是，段祺瑞的丧事还是办的虎头蛇尾。南京方面是风风光光的给段公办了丧事，并且在北京也成立了治丧筹备组。但是段祺瑞的儿子段宏业却将二十万治丧款给花掉了。结果就导致段祺瑞的灵柩运回北平后，没有钱安置。最后还是宋哲元出面，筹集了两千块，才将段祺瑞的灵柩暂停放在了西山卧佛寺的一处新搭建的房屋内。谁知这一搁置就搁了整整二十八年，一直到1964年，才在章士钊的出面下，将段祺瑞的灵柩移葬于北京香山万安公墓。墓地的规模非常小，知道的人并不多。（章士钊也是段的老部下）
段祺瑞的墓碑背面刻着段祺瑞的遗训，而正面也没有任何官衔，除了家属亲人的名字外只有八个大字：合肥段公芝泉之墓。
标签： 段祺瑞
