五岭是交州与荆州、扬州的地理分割线。但因为汉时赵佗据南海而击并桂林、象郡，自立为南越武王，其割据延续百余年之久，故而此后汉室朝廷屡次调整州郡边界，将五岭大部划归到了北面的零陵、桂阳和豫章等郡管理范围。

比如大庾岭和灵渠所在的越城峤，就在零陵郡的管辖范围。灵渠本身由一名都尉管理；两侧的零陵县、始安县都有专门的吏员负责民伕调动和船舶维护等事宜。

也正因此，江东势力终究只能在