若论对高宗皇帝认识之深，满朝文武，除却岳飞之外便是只有李纲了。从当初守卫开封，一片形式大好下却被徽、钦二帝生生葬送，再到高宗皇帝初即位后对其先用后贬。这一番宦海沉浮，让李纲对赵氏一族已近绝望，虽然这位明相依旧不计前隙，仍旧在朝堂上尽自己最后的一份光和热，但其实从他的内心来说，早已看透了高宗皇帝的本质，如今其心思也如岳飞一般，仅仅只是不忍宋室倾颓，百姓受难而已。
而岳飞受李纲提点颇多，因此也与这位长者私交颇佳，就在高宗皇帝用张浚之计，意欲北伐之时，他便提出过疑问：“今日主兵者之失，大略有四：兵贵精不贵多，多而不精，反以为累；将贵谋不贵勇，勇而不谋，将致敌擒；陈贵分合，合而不能分，分而不能合，皆非善置陈者；战贵设伏，使直前而有中道邀击之虞，即非善战者。愿明诏之，使知古人用兵之深意，非小补也。朝廷近来措置恢复，有未尽善者五，有宜预备者三，有当善后者二。今降官告，给度牒，卖户帖，理积欠，以至折帛、博籴、预借、和买，名虽不同，其取于民则一，而不能生财、节用，核实、懋迁，一也。议者欲因粮于敌，而不知官军抄掠，甚于寇盗，恐失民心，二也。金人专以铁骑胜中国，而吾不务求所以制之，三也。今朝廷与诸路之兵尽付诸将，外重内轻，四也。兵家之事行诡道，今以韩世忠、岳飞为京东、京西宣抚，未有其实而以先声临之。且中军既行，宿卫单弱，肘腑之变，不可不虞，则行在当预备。江南、荆湖之众尽出，敌或乘间捣虚，则上流当预备。海道去京东不远，乘风而来，一日千里，而苏、秀、明、越全无水军，则海道当预备。假使异时王师能复京东、西地，则当屯以何兵？守以何将？金人来援，何以待之？万一不能保，则两路生灵虚就屠戮，而两河之民绝望于本朝。胜犹如此，当益思善后之计。”
并且他还建议道：“今日之事，莫利营田。然淮南兵革，江湖旱灾之余，民力必不给。谓宜令淮南、襄、汉宣抚诸使，各置招纳司，以招纳京东、西、河北流移之民，明出文榜，厚加抚谕，拨田士，给牛具，贷种粮，使之耕凿。许江、湖诸路于地狭人稠地分自行招诱，而军中兵愿耕者听，则人力可用矣。初年租课，尽畀佃户，方耕种时，仍以钱粮给之，秋成之后，官为籴买，次年始收其三分之一，二年之后乃收其半，罢钱粮，此其大概也。不然，徒有营田之实，何补于事？”
不得不说，李纲做为大宋难得的明白人，将北伐之事看得极为透彻，他并不主张立即用兵北伐，而是希望朝廷安抚两淮、襄、汉等地百姓，收拢京东、西、河北流民，进一步打好基础，而不是贸然兴兵北伐。
可惜急于以战求和的高宗皇帝和急功近利的张浚根本听不得这般忠言，执意北伐，而岳飞此时也觉得一旦突入伪齐腹地，用兵渡河，在北方扎下一枚钉子，作为前沿的根据地，可为之后行事打好基础。
但事实证明李纲的担忧并非无因，而他在朝中多年的经历也更让其明白高宗皇帝的心思，如果说岳飞还报有一丝丝希望的话，那李纲便是对整个朝廷已然失望透顶。
就在岳飞意欲大展身手的时候，赵鼎的一封书信令其彻底清醒了过来，他终于还是发现自己太过天真，对高宗皇帝过于高看。而正如李纲所判断的那样，由于战线拉得太长，又太过深入敌后，岳家军面临着一个极为严峻的形势，缺粮。
由于京西、京东两路在长期的战争之中受损严重，人口降至谷底，又加之伪齐僭立后，对属地横征暴敛，百姓无不深受其害。就算是襄阳到鄂州的这片土地上都是十分荒凉，在岳家军开往襄阳屯驻之时，沿途可以看到十室九室，可谓是“经乱离之后，长涂莽莽，杳无居民”，“墟落尤萧条。虎狼肆暴，虽军行结队伍，亦为所虐”。
而到了商、虢二州境内，这种情形更为明显，自商、虢至伊阳六七百里，山岩重叠，林木蔽密，本就偏僻萧条，而屡经战乱，更是让这种情形雪上加霜。
这般艰难处境，岳家军的后勤队伍便很难跟上大部队的行军步伐，自鄂州到商、虢二州，路途漫长，且山区之中行进困难，使得粮草难以及时供应。虽然岳飞一路杀获甚众，就粮于各处城池，但所获粮草既要供应大军日常所需，又因岳飞不忍各处百姓忍饥挨饿，于是还要分粮赈济，这使得粮草供应入不敷出。
面对如此情形，岳飞也是巧妇难为无米之炊，无奈之下，只得下令撤军返回鄂州。而听闻岳家军要南撤，所复州县百姓无不纷纷痛哭，他们知道，一旦岳家军离开，这些收复的州县很快又会落到伪齐手中，到时悲惨的生活还将继续。于是便有百姓跪求岳飞，望大军护百姓一道南归。
岳飞望着这些形容枯瘦的百姓，心中不忍，于是命大军挤出一万石粮食交付饥民，而后护着愿意南归的百姓一路南下。到得襄阳府后，岳飞将这些百姓安顿在襄阳到鄂州境内，并且拨牛借种，招募来归百姓恢复耕种，这才将这些人安排妥当。
至此，大宋的第二次北伐就这样虎头蛇尾地结束了，虽然未能如岳飞所想那般，渡河北上，在伪齐与金国之间扎下根基，但也并非一无所获。
虽然岳家军占领的州县在大军南撤之后，多又被伪齐所得，但商、虢二州一些要地仍被岳家军牢牢掌握在手中，并未易手。并且邵隆在赴商州就任知州后，披荆棘，立官府，招徕离散，各得其心，逐渐将商州的生机再度焕发起来，也为之后北伐大事占据了一块极为重要的桥头堡。
岳飞复返鄂州后，由于安志杰的随行调养，并未发生像史书中所记载的那般眼疾重新发作，以至于卧床不起的情况，这令岳飞十分欣喜，于是便静下心来经营自己的大本营，进一步扩展岳家军实力。
但这种安宁的日子并未有多久，伪齐再度来攻。