咸丰皇帝命令曾国藩放弃围攻安庆的计划，东下救援苏州和常州。苏州、常州都属于两江总督的辖区，身兼署理总督重任的曾国藩，对此自然不能坐视不管，安庆会战还要不要打，便成了是否坚持曾国藩原定计划的关键。
曾国藩分析了当时的形势，认为绝不能重蹈攻克武昌后不该马上东进却持议不坚的旧辙，于是他马上上疏咸丰皇帝痛陈利害，在他的坚持下，几经反复，朝廷终于不再坚持撤安庆之围的要求。
可是令曾国藩万万没有想到，更尖锐的分歧竟然发生在他和胡林翼之间。
兵困祁门绝处逢生
咸丰十年，也就是公元1860年的五月十五日，曾国藩留下曾国荃继续围攻安庆，他率领鲍超、张运兰等约万余人从宿松拔营起程奔赴祁门。
曾国藩这次行军的速度十分缓慢，从宿松到祁门并不很长的路程，竟然走了将近一个月，五月十五日出发，六月十一日才到达目的地，将大营扎在祁门县城洪家大屋。在接下来的几个月里，这里就成了曾国藩和湘军的指挥部。
祁门是安徽省处于丛山包围的一个县城。一条官道从县城穿过，东连休宁、徽州，南连江西省的景德镇。
在曾国藩受命署理两江总督两个月后，咸丰皇帝下令补授两江总督实职，并授钦差大臣，督办江南军务，还令左宗棠来营襄办军务。此时的曾国藩更是对左宗棠的忠心相随感动到无以加复。