上干了半年，随着贝利亚同志的一个电话，他就被调到了国家安全总局，担任总局副局长，兼机密政情处处长。这是与反苏分子作斗争的一个最要害部门，职责重大，更要命的是，贝利亚同志还将东乌克兰地区的剿匪工作交给了他，他需要尽快在这一方面做出成绩。

在叶若夫倒台，贝利亚执掌内务人民委员会以来，委员会主要提拔了三个人，分别是谢罗夫本人，被调往顿河方向负责罗斯托夫具体工作的维克托·谢苗诺维奇·阿巴库莫夫，