即便胡善祥并无过错，在朱瞻基心中，孙若微的地位也愈发重要。
朱瞻基登基后，依照礼制，胡善祥被册立为皇后，孙若微则被封为贵妃。但孙若微并不满足于此，她一心想要登上皇后之位。而朱瞻基也有意满足孙若微的心愿。
不久之后，朱瞻基以胡善祥未能生育皇子为由，向张太后提出废后之事。张太后虽对胡善祥颇为喜爱，也觉得废后之事不妥，但架不住朱瞻基的坚持，最终只得默许。
就这样，胡善祥被废，退居长安宫，赐号“静慈仙师”。而孙若微则如愿以偿，被立为皇后。此事在朝廷上下引起了轩然大波，许多大臣纷纷上书反对，但都未能改变朱瞻基的决定。
胡善祥被废后，深居宫中，青灯古佛相伴，度过了孤独凄凉的后半生。她的遭遇赢得了许多人的同情，就连张太后也时常对她关照有加，在宫中举行宴会时，总会特意将胡善祥安排在孙皇后之上。