也就是在那个时期达到的鼎盛，家族成员定居在京城，名噪一时。

再后来，成吉思汗打下的庞大版图分崩离析，中原地区又有朱元璋起兵于草莽，一股脑儿将蒙古人赶回了漠北，这个家族又跟着蒙古人撤回了大漠，之后朱元璋的儿子永乐皇帝五次御驾亲征漠北，把蒙古族赶得几乎是无处可走，祁氏家族也就是在那个时候才真正与蒙古族脱离，在战争中和部族人马走散以后，举族迁徙到了斡难河附近，也就是黑龙江的上游，并且在那里定居