玉等率领羌胡进犯三辅的时候，刘宏召拜陶谦为扬武都尉，随皇甫嵩一起出征，后来换成车骑将军张温统兵，陶谦素来不服张温，在得胜之后的庆功宴会上公然羞辱张温，张温大怒，将陶谦发往边关，经人劝说下才将改变主意将陶谦追回，还亲自出门迎接陶谦，但陶谦并不领情。

中平五年，陶谦出任徐州刺史，恰逢豫兖青徐黄巾四起，陶谦依靠徐州大族的支持，以收服的泰山臧霸为前驱，迅速将徐州的黄巾镇压下去，剩下的不是逃进了山