桂芳在工作上不支持也不反对，凡事无论大小都要向朝廷各部去函询问。做为总督又不能事事代替其做决定，太耽误进度。

所以建议皇帝及早安排可造之材准备接替，最好提前派过去工作一段时间，一方面是熟悉当地的风土人情，一方面也要考察能否胜任。

原本洪涛打算找个借口把胡桂芳替换掉，可是问过叶向高之后又打消了这个念头。胡桂芳早年在杭州做过推官，工作认真、勤俭克己，民声很高，是个很不错的官员。