他是常遇春三儿子，常升已经调往北平坐镇，至于常森原本就是锦衣卫，朱允熥时候就已经是京营大将，他在朱允熥时候就被封侯爵，至于常茂一支没有后代留下，常升的儿子常继祖还不到十岁。原本历史上常继祖一支在靖难之后被流放云南，弘治时候召回南京世袭锦衣卫指挥使，嘉靖年间封怀远侯，至于常森历史上没有记载，民间传言作为建文的支持者逃出京城，跑到陕北米脂，然后家族就一直在那里了。

但只是民间说法。