一直不好，反而亲近大哥李建成，他一向嚣张跋扈，在太原郡仗着家世为非作歹，好几次被李世民逮住一顿收拾，因此对这个二哥很不满。

李建成倒是一派大哥风范，他对李世民倒没什么意见，也觉得四弟过于跋扈，于是说道：“四弟，怎可对你二哥无理！既然有英雄来投，我们合该接纳，还未起事便要讲天下豪杰拒之门外，那我们如何能成？退下！”

李元吉则是愤愤的退下，不敢与李建成争辩，