赵倍和太上皇孝宗的关系长期不和,孝宗死后,他不去服丧,至使丧礼无法进行,满朝大为骚动。知枢密院事赵汝愚和知阁门事韩化胄上奏,建议太皇太后下诏令赵停退位,传位于其子赵扩,由赵扩主持孝宗丧礼。太皇太后同意赵停禅位,称太上皇,闲居寿康宫。他每回忆在位时的事情,总要自言自语地咒骂,有时还会痛哭。
那是绍熙年间,赵停最宠爱的黄贵妃有病了。她面黄肌瘦,不思饮食。御医用了许多贵重药品,皆不见什么效果。皇帝见爱妃日见谁淬,也整日愁眉不展。最后无奈只好张榜求医。一位江湖郎中揭榜进宫,为黄贵妃诊脉后说:“只要用冰糖与红果(即山楂)煎熬,每顿饭前吃五至十枚,不出半月病准见好。”开始大家还将信将疑,好在这种吃法还合贵妃口味,贵妃按此办法服后,果然如期病愈了。皇帝自然大喜,展开了愁眉。