时，她就干过一次，想逼着房玄龄长子房遗直将本应由其继任的散官“银青光禄大夫”让给她的夫君房遗爱，事情被李世民知道后，断然给否决了。

而在“永徽三年”年末时，高阳公主又一次出招了，她寻得一个机会，单独与房遗直“偶遇”，然后佯装撕破外衣，诬称房遗直非礼，欲令其就范，逼其让出爵位以及房家嫡长子的身份。

房遗直当然不同意，愤而离去。哪知高阳公主竟然选择上告，以“非礼”一事要求皇帝罢黜房