子少师宋濂的赏识，收为门下，年纪轻轻就任职为国子监典簿，但是因为为人太过于正直，眼里容不得半点苟且，得罪了当时权势滔天的胡唯庸一党，被贬黜出了京城。

后面又因为才华被朱元璋启用，一跃成为吏部侍郎，但是赵谦此时对官场的勾心斗角很是反感，觉得在朝中没有自己的用武之地。

所以自请出京，毅然放弃京官的优越地位，主动到被称为"蛮夷万里"的海南琼山任儒学教谕。