段祺瑞晚年时期身体益形衰退，身边的好友以及医生都劝他开荤以增加营养，增强对疾病的免疫力，但他本人觉坚决不肯，并态度坚决地说道：人可死，荤不能开！ 1926年，段祺瑞被迫离开权力中心，宣布下野，下野之后的他隐居天津租界做起了寓公，并自号正道居士。 当时，由于段家人口众多，段祺瑞起初还能够靠着先前的积攒勉强维持一家人的生计，但时间久了，经济上的窘迫便出现了，好在陈调元等昔日的皖系下属得知段祺瑞的生活情况后，主动拿出钱财，接济维持。 1928年，北伐军击败多位军阀人物，取得胜利后，蒋介石为了拉拢段祺瑞以及皖系军政界人士，便派下属来到天津拜会段祺瑞，并送来了几万元的生活费来资助段祺瑞一家人的生活和开销。 1931年，“九一八”事变以后，日军逐渐深入华北地区，并曾多次派人来拜会在天津居住的段祺瑞，想要邀请他出山，不久，这个消息传到了南京，蒋介石获悉这个情况后，担忧段祺瑞与日本人合作，便写信邀请段祺瑞“南下颐养”，段祺瑞则接受了邀请，悄悄乘坐火车离开了天津，脱离日本人的势力范围，来到了南京。 段祺瑞到了南京后，蒋介石设宴接待了他，并陪着他去往中山路祭拜，祭拜结束后，段祺瑞又乘坐火车从南京离开，来到了上海，并开始早上海霞飞路的寓所常住。 当时的段祺瑞已是年近七旬的老者，身体状况并不好，身上的毛病很多，因此身边的亲朋好友，以及护理他的医生便劝他开荤增加营养，但是却遭到了段祺瑞的严词拒绝，这之后，段祺瑞每日除了下围棋以外，大部分时间便是在住所内诵经或者阅读旧书。 1936年，段祺瑞昔日的下属李思浩从华北来到上海，他在与段祺瑞见面后，陈述了长城内外沦陷的情况，段祺瑞听后，既担忧，又愤慨，导致胃溃疡病复发，被家里人赶紧送往上海宏恩医院惊醒救治，但由于病情太重，段祺瑞最终因胃溃疡复发去世，时年72岁。 段祺瑞病逝后，在段家亲属的要求下，他的遗体和灵柩被运回北京安葬，到了北京后，他的灵柩被暂厝于西山卧佛寺后殿，直到1963年时，才被辗转移葬至北京万安公墓。
