高宗唯一一次试图罢黜武则天发生在在麟德元年（664），获得了其旧僚佐、当时的宰相上官仪的支持，不过最终失败。上官仪的支持和李勣的支持实际上并无不同，他们都是高宗的旧臣，是高宗最为信任的人，所以两次废后虽然对象不同，其秉持的理念都是一样。上官仪成为替罪羊后，其孙女上官婉儿被没入宫中，凭借自己的才能，在此后的政治生活中，尤其是后武则天时代的中宗时代，扮演了重要的角色。
