再说周不疑所率渡江军主力及本部骑兵，仍然在围攻石头。虽说以水陆两面对吴人进行围攻，已经取得了很大进展，汉军已经数次登上了吴军城墙，立足的时间也越来越长，但距离攻破城池，始终还差最关键的一步。周不疑想：“看来即使攻下石头城，短时间内也没有办法攻下秣陵，再继续进攻，江陵的水师恐怕就要到了，应该做撤军的准备了。”想到这里，他开始正式做渡江的打算，不过仍没有放松对建业的包围。
按理来说，在牛渚矶的水师足以助大军渡江，但考虑到渡江不是一两日，而一旦渡江时撞上江陵水师，后果便不堪设想。故而周不疑没有调用黄权所部，而是在南岸民宅中征调船只。这自然不会有什么大船可言，但幸运的是，南岸的吴人小船还有很多，几日下来，就搜罗出了两百来艘民船，只是船比寻常艨艟还小了一些，一艘顶多载十五六人。
而后周不疑传令各军开始陆续撤围，各部闻言都极为沮丧。围攻一月有余，付出了近万伤亡，却连石头城都没有攻破，这对上对下都难以交代，很多人为此劝周不疑再缓缓。周不疑主意已定，他对诸将说：“我军虽然暂时不利，但上游尚有巴蜀与襄阳水师在攻略荆州，只要我等能在此地牵制吴人，等上游水师前来汇合，获胜不过早晚而已。”可各部得闻后却更是沮丧，他们原想接机立功，可现在撤军之后，功劳不都全到襄阳、江州那边了吗？
好说歹说之下，撤围还是开始了。周不疑将渡江的地点选在了燕子矶，也就是建业东北处的幕府山下。燕子矶因有石峰突兀江上，三面临空，势如燕子展翅欲飞而得名。而作为渡口，此地地形江流平缓，视野开阔，又方便阻隔背后的吴人突袭，是除去牛渚矶外渡江的最好选择。只是包围圈范围过大，加上三军士气低靡，故而撤军一事进展缓慢，一直到了十二月壬寅这一日，也还有四万人尚未抵达撤军位置。
此时周不疑受了些风寒，感到浑身有些乏力，但还是坚持到各军之间视事。说起来，攻城的这些日子里，水土不服的军人很多，不少人因此而丧命。所有死去将士，无法带走，都只能择隐蔽高处草草下葬。好在除了疾病之外，粮草还有许多，足够大军吃到明年二月。但在渡江的时候能否全部带走，这又是一个问题。不过周不疑也顾不上这么多了，他只盼着全军早日到齐，而后早日渡江休整。
当日下午，西边山谷中升起了浓烟，在淡薄的雾气中颇为显眼。邓艾登高观看，见黑烟呈三角形排列，就知道是有紧急军情发生。他连忙把此事通报给周不疑。周不疑知道大概是江陵水师到了，急忙带着随从到营口，等待牛渚矶的最新消息。
过了一会，有一批斥候快马奔到营前，下马不及站稳，就喘着粗气说：“大都督，上游有大批吴人水师抵达，已在牛渚矶与我军接战了！”
周不疑闻言一怔，不料吴人竟然如此果决，直接在牛渚矶开战了！他立刻焦虑起来，不自觉地开始来回踱步，同时连忙派人去打探牛渚矶的最新消息。
又过了半个多时辰，斥候飞马回报，周不疑仅看他们的脸色就知道大事不妙，只得强自站稳了先问道：“战况到底如何了？”
斥候们面面相觑，都不好开口，还是周不疑再三催促后，他们才艰难说道：“大都督，我们走到战场右翼，就看见邓当所部倒戈了！他们正与吴人围杀我部。虽然我等未能更往里看，但黄都督处恐怕大势已去了！”
说完后，全场一片死寂，斥候们甚至不敢抬头看各将的神色。过了好一会儿，才听到周不疑说：“再探再报，敌军有多少人，我军到底是胜是败，若败，损失如何，能否接应，都要说清楚。”斥候们这才抱拳允诺，这时他们看见主将的状态，都不禁吓了一跳。寒风中，周不疑面若金纸，浑身颤抖，好似随时会昏倒。可他到底忍了下来，让随从不必搀扶后，周不疑立马去岸边检阅船只，同时再次催促还没有赶到江岸的部队。
等到次日清晨，汉军终于得到了牛渚矶之战的具体消息：水师都督黄权殉国，贾逵、岑光、缪尚、张琰、王昌等二十余名中高级将领战死，六万汉军水师，出去杜畿率两万人抵达北岸逃出升天外，余者要么战死，要么投降。而吴军虽然因黄权缘故，损失了七艘楼船巨舰，仅剩下邓当部反水得来的两艘，但是俘获了大量的汉军舰船，麾下船只恐怕已经超过五百艘。虽然也战死了不少士卒，可经过邓当所部的补充后，兵力不减反增，达到了七万之众。
也就是在这一天的中午，剩余的汉军部队赶到燕子矶时，浩浩荡荡的东吴水师随之出现在江流之中。此时雾气没有完全消散，头上发白，一缕日光正自云中渗出。四周麻麻亮，冷风吹来，被汗水湿透的衣裳一时变得冰冷，让人一阵阵地打哆嗦。这时候，江面上传来了船桨拍打水流的哗哗声。借着，如刀的寒风中也传来了轻微的血腥气。汉军带来的战马顿时不安地踏动蹄子，发出准备战斗但又茫然的轻轻嘶叫。汉军将士们涌到燕子矶头，借助逐渐透亮的天色，只见密密麻麻的船队正在江流中聚集。一队队艨艟青雀在他们的数里外的江面盘旋，来回不停地穿梭，无数挂着人头的大旗杆上周字大旗正上下摆动。
校尉阎宇望见这般景象，急忙奔回周不疑帐内，喘着气报告说：“吴人来了，漫江都是，数也数不清！”阎宇又去找郭淮，郭淮此时正在命人加紧准备东西两侧的工事，防止建业的吴人出来袭击。他冲阎宇翻了一下眼说：“已经被围了，不要怕，对面昨日刚打了一仗，今日不会再有动作。先养好精神吃饱了，打起来才有劲。”
吴人嘈杂的行船持续了很长时间，他们也在等待主力到齐。而缺乏水师配合的汉军，只能保持沉默和镇定，密集地在江边修缮栅栏等工事。到了傍晚，天空出现了极为罕见的晚霞，远看好似血染。阵阵阴风拂过来，栅栏内汉军旗帜随风猎猎作响。栅栏外数里外的江面，吴人庞大的船队向汉军吹号示威，巨大的声响仿佛鲸鸣般，而后他们向北岸开过去。
虽然没有直接进行会战，但是汉军却感到压力倍增。对面在这个时候前往江北，显然是要彻底断掉汉军的归路。如果说交战汉军还有些许获胜的可能性，哪怕输了也痛快。而吴人在此时选择避战，那就是打定了主意要将五府大军留在南岸了。这无异于一场漫长的酷刑，但对此时的汉军而言，却想不出什么反制的手段。
只是即使如此，军议还是要召开的。汉军诸将很快收到命令，立刻到燕子矶头与周不疑商议对策。此时天已经黑了，周不疑还顶着风寒，面孔上泛出不健康的红晕，而来帐的诸将神情却更加窘迫。他们打量主将神色，又想着眼下的困局，一时都沉默了。
周不疑强撑着坐在胡床上，先清点来将的人数，结果发现出张昭未到。诸将立刻反应过来：他恐怕也要反复！狐笃立马请命去追击张昭所部，可为时已晚，他还未出帐门，就有斥候来报，说燕子矶南面的张昭所部在天黑之际突然离去，直往建业方向奔去了！
张昭虽然没有参与汉军的最高层决策，却了解汉军的许多虚实，如今让他这样逃回吴人中，对汉军的坏影响不可估量。想到这，汉军将领们更加感到气馁和沮丧。
这时有人缓缓说：“这不算什么大事，我本来还头疼，接下来到底该不该用他，现在看来也去了我一大心病。”众人闻言抬起头，发现这时大都督周不疑已经勉强站了起来，用力继续说道：“敌军虽然占据有天时地利，但到底不敢与我等哀兵死战，这就代表着还有回旋的空间，你们不要沮丧。”
想到周不疑过往以来的辉煌战绩，诸将又都振奋起来，也许他能继续给汉军带来胜利呢？
周不疑果然露出一副胸有成竹的神情，直接给诸将发布军令：令郭淮所部防御东南建业动向，李典所部防御江岸，狐笃所部继续在丹阳、富春二郡搜罗船只，孙资看守西北粮仓，温恢设法联络江北情形，余下人等则分为两批，一批在江面练习操舟，一批在岸边伐木造船。众人得了军令，顿时就有了主意，也不再惊惶了，他们边揣测着主将的意图边告退，幻想着周不疑又能创造一次奇迹。
送走众将后，周不疑颓然跌坐在行塌上，忍不住地连连咳嗽。如此情形下，哪里真有什么全身而退的法子？黄权所部已覆灭大半，这剩下的大队，自己又能带走多少人呢？莫非天不佑汉，竟要折戟沉沙于此地？