话说长孙晟还在世的时候，高氏是居住在后院北座的，亦即是主座，而西院则是长孙无垢的住处，可是长孙晟去世后，长孙安业便以一家之主的身份要求后母高氏搬离主座。

高氏知书达礼，而且性格比较和善，并不欲与长孙安业争执，以免引起家庭不睦，于是便搬到西院与女儿长孙无垢同住，而长孙安业夫妇则堂而皇之地搬进了主座，俨然以一家之主和主母自居。

长孙无忌对此是相当不满的，他可以忍受长孙安业欺