馮保因多次潛返內宮與裕王府之間，替呂芳和裕王暗遞消息，早就遭嘉靖帝厭惡。嚴黨倒了臺，嘉靖帝失去了對付百官的力量，早就猶豫著想啟用心狠手毒的陳洪取代呂芳。遂命陳洪宣旨，將馮保逐出王府解往朝天觀服苦役。世子自是舍不得，陳洪有意無意激怒李妃，自己挨了責罰。到嘉靖帝前，把箭射向呂芳，讓嘉靖帝把賬算到呂芳頭上去。嘉靖帝果然立刻傳旨，從提刑司鎮撫司開始除“草”。忍痛將跟了自己四十年的呂芳發配到南京為太祖高皇帝守陵。