在江都兵变消息传来的第二天，张铉便下令青州军出击，四万大军立刻出动，迅速南下向淮河进军，与此同时，从各地汇集而来的千余艘战船也从海路南下，走淮河出海口进入淮河，仅用半天时间，一万骑兵便率先抵达淮河北岸，进驻淮阳县，随着青州大军陆陆续续到来，张铉开始在这片曾经十分熟悉的土地进行部署。

隋军主营设在紧靠通济渠以西的淮河北岸，对岸便是山阳县，如果宇文化及是乘龙舟队北上，这里就是必经之地