李怀远是个既清廉又颇有能力的官儿，武则天当政的时候，就已经积官至春官侍郎。神龙政变后，李显知人善任，提拔他为户部尚书。

不过，李显也是太能作了，上任一年多，就把国库抖搂了个干干净净。李怀远使尽浑身解数也周转不灵，干脆辞职不干了。

他不想干，有的是人想干，比如李峤、张锡以及郑。

李显初登基时，把亲近二张的人贬官出外了不少。但很有些人，从严格意义上来讲，也算不得二张余