宰相们群起而攻之，薛礼的兵部尚书干不下去了，依着宰相们的主意，要将薛礼贬到下边的某一州去做刺史。

此时皇帝李治还记着他皇兄的叮嘱，“有薛礼在，便有你的命在”，皇帝虽未意识到这句话的意义，但是他相信，自甘抹去皇族身份的皇兄、唯一对他说过的这句话，绝不会是为了害他。

为了薛礼的去向，年轻的皇帝在政事堂同宰相们极为少见地相持。薛礼退居左千牛大将军，降一阶到了从三品，镇守玄武