雷远的宗族中人私下里说，宗主看似恂恂若文士，其实心肠冷硬，殊少亲情。

比如他对自家雷氏亲族，给过些良田美宅，却并不轻易让他们享受朝廷俸禄、用他们为官吏。又比如他对自己的两个弟弟，雷绪小妻吴氏生养的两个孩子雷深和雷遐，除了给他们读书习武的条件以外，也从不表露出以之为羽翼的意思。

各种各样的例子太多了，所以有人难免嘀咕，怀疑是不是当年老宗主对他太过苛待，所以现在他有意地压制自家宗亲