二陛下的幼弟，母亲杨氏，是高祖皇帝的嫔，不过杨嫔的父亲有些来头，杨嫔的父亲是前隋太尉杨素的女儿。

长孙皇后之所以推荐江王李元祥，说起来也是与他是杨素的外孙有关系的。

开皇八年的时候，杨素以行军元帅的身份率领水军东下攻灭攻灭陈朝，之后的几年之内，前隋的水师部队一直都是掌握在杨素的手中，而杨素本人，在统领水师方面，也是颇有心得。

杨素有七个儿子，但是女儿，就只有一个，后来