由于李卫的官是捐来的，并不是科举出身，所以他大字不识几个。师爷等人起草公文奏章，都要读给他听，有不合意的地方，他就口述修改，而且往往能切中问题要害，对此大家佩服得五体投地，李卫的过人机智由此可见一斑。李卫在公干之余喜好听人说书，每遇到忠贤遭到不平，李卫就会呜咽、愤恨，甚至拔剑而起。虽然识字不多，但李卫对文人、对文化事业还是非常看重的。历史上记载，他曾出钱修过江浙通志，建过书院，给在读士子以