吴佩孚所部撤防是从一九二零年五月二十日开始。
他事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长吴新田为“主持湘南防务司令官”，于二十一日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。
直到吴佩孚所部撤防的前夕，北京政府才有电报批准直军撤防。这样也就使吴部的北归，有了合法性。
吴佩孚所部开拔时作环状队形的布置，主力居中，湘江两岸各设掩护队，前方设有侦察兵，后面设有殿卒。大军扬帆而下，全军齐唱吴所亲撰的《登蓬莱阁歌》。
途中吴秀才诗兴大发，写下《回防途次》，诗曰
行行重行行，曰归复曰归。
江南草木长，众鸟亦飞飞。
忆昔赴戎机，长途雨雪霏。
整旅来湘浦，万里振天威。
孰意辇毂下，妖孽乱京畿。
虺蛇思吞象，投鞭欲断淝。
我今定归期，天下一戎衣。
舳舻连千里，旌旗蔽四围。
春满潇湘路，杨柳正依依。
和风送归鸟，绿草映晴晖。
少年惜春华，胜日斗芳菲。
来路作归程，风景仍依稀。
周公徂东山，忧搀亦畏讥。
军中名将老，江上昔人非。
建树须及时，动静宜见几。
何日摧狂虏，发扬见国威。
不问个人瘦，惟期天下肥。
丈夫贵兼济，功德乃巍巍。
江上送归舟，风急不停挥。
得遂击楫志，青史有光辉。
春日雁北向，万里动芳徽。
鸿渐磐石愿，衍衍不啼饥。
止戈以为武，烽烟思郊圻。
同仇复同仇，归愿莫相违。
吴佩孚所部于二十七日由水路经过长沙。
张敬尧怕吴部舍舟登陆“战长沙”，在湘江右翼配置了强大的兵力，但只作防御准备。
而吴部根本无意上岸，虽亦作紧急戒备，不过是怕张军袭击而已。
双方都很克制，均未挑衅生事，吴部随后扬帆而去。
吴佩孚所部于五月二十九日过岳州，三十一日在汉口集中。
吴部北行，一举一动都引来各方关注，其滞留汉口，久而不发，因之而谣言四起。
北京政府以吴佩孚所部按兵武汉。引起各方猜忌为名，促其尽快离开。并电曹锟，请他下令督促吴部速行。
吴佩孚本打算在武汉稍事休整，但迫于情势不得不迅速开拔。派其参谋长赴汴与赵倜密商后，商定吴部暂驻信阳、许州、郑州等处。
随后于六月七日晚由武汉起程。八日抵郑。
所部第一旅驻许昌，第二旅驻驻马店，第三旅分驻顺德、磁州，骑兵团驻黄河桥，步兵八团驻新乡县。
沿途旌旗满目，帐幕相望，军容整齐而士气高涨。
吴佩孚所部北归，直接的结果是直皖两系短兵相接，段祺瑞早就已经认识到了问题的严重，他不能不有所应对。
早在一九二零年四月下旬，驻防陕西的奉军许兰洲部忽然移动到华阴、潼关、观音堂一带。这个行动使段祺瑞怀疑是奉军有企图移向河南，策应直军北进。
五月十七日，段祺瑞曾在团河召集秘密会议，作了一系列的军事布置。
一面召回徐树铮，并将全部西北边防军调回北京附近，一面决定自己出马担任川陕剿匪总司令，率领边防军一三两师向陕西出发，讨伐陕南民军和川滇靖。
为了提防靳云鹏在北京捣鬼，准备派其为副司令或参谋长，令其随军出发。这其实是在“声东击西”，真正目的并不是向陕西出兵，而是准备进军郑州。其计划是首先驱逐河南督军赵倜，然后派军防守京汉路南段，阻断直军的归路。如果直军打算强行通过，就地予以迎击。
段祺瑞认为在河南与直军作战，不但北京根据地不致受到战火的威胁，而且山东、安徽两省的皖系军队可以侧击直军。
但是，当段带兵出征陕西的消息传到关外，张作霖立刻借口边防军出动，北京防务空虚，要求准许奉军入关“拱卫京师”。如果北京真的由奉军拱卫，北京就变成张作霖的天下了，这便使得段祺瑞，被迫放弃这个想争取主动的作战计划。
六月十三日，一直出语惊人的吴佩孚在郑州发出一个爆炸性的电报，分致反皖的八省联盟各督军，内容是反对安福系包办上海和会，建议召开国民大会解决一切问题。
这个电报之所以具有爆炸性，是因为这个建议不但遭致皖系的强烈反对，八省联盟内部也是一片反对之声。联盟的领军人物之一的张作霖为此而大发脾气，就连吴的上司曹锟也一个劲地摇头。
北方反段的军人虽然不满意吴的狂妄，但考虑到直皖战争爆炸在即，吴是一个肯打硬仗的虎将，其军队又能征善战，因此而对吴的过分言行，只好隐忍于心。
但是，吴这一通电得到南方各人民团体的热烈欢迎。
吴佩孚将其主力布置在河南，造成北方风云突变。奉军为了暗中策应直军，也零零星星地分为三营五营开进关来，六月十日驻独流镇的奉军四营，经过天津开往廊房。
曹锟也于六月十日派兵监视德州兵工厂，并以德州为直军右翼的前哨阵地。
六月十五日，吴佩孚偕同三个混成旅的旅长到了保定。同日，江苏、奉天等省代表也都到保定，来参加曹锟所召集的军事会议，这是一次秘密的，却是极重要的军事会议。
段祺瑞方面自然也积极布置，他密令驻守济南的边防军第二师师长马良作好动员准备，俟机北向进攻德州，或者西向侧击郑州。
为了准备打仗，皖系积极筹措战费，由安福系的交通总长曾毓隽，以京绥路为抵押，向日本借款五百万元作为战费。
在中国内争上，日本是倾向皖系的，日本方面本来是愿意帮这个忙的。只是这个时候，日本已不能像欧战期间那样，可以在亚洲尤其是中国为所欲为了。美英等已经联合起来，在中国问题上采取强硬的立场，监视着日本的一举一动。
由于美英两国出面干涉，皖系以京绥路向日本押借五百万元没能如愿。
这时候，皖系无论在外交上、财政上、或是作战的战略地位上，都处于十分不利的地位。
最大的致命伤是两个，一个是主张武统，发动南北战争。在全国人心盼望和平统一的时候，内战是不得人心的。一个是亲日，当时全国人心都痛恨日本侵略，尤其在欧战期间乘火打劫，企图独吞山东。国人对日如对过街老鼠，皖系的亲日自是大失人心。
即便是在军事布置上，皖系也居于不利的地位。驻防洛阳的西北边防军，处于郑州直军与潼关奉军之间。驻防信阳的皖军吴光新部，也是处于河南、湖北两省直军夹击态势中。而在廊房的西北边防军，也在奉军监视之下。
将领方面，张敬尧祸湘，马良残杀抗日的爱国分子，这两个人是很不得人心。傅良佐、吴光新都非将才，倪嗣冲则在重病中，段芝贵不过是袁世凯的宠儿，善溜须拍马而不堪大用。皖系的将领数来数去还是只有徐树铮像回事，段祺瑞在重要关头更离不开小徐。
局势一天比一天紧张。六月十六日曹锟电请解除川、粤、湘、赣四省经略使。
六月十七日徐树铮由库伦返抵北京，暂时放弃他“西北王”的事业。
吴佩孚虽然请张敬尧派军接防，可实际上他是决定把衡阳移交给湘军的。他和湘军骁将赵恒惕已经是惺惺相惜的朋友，吴佩孚所部整装离开之时，也就是湘军进军之日。
但是，当时的形势对湘军来说并不乐观。
张敬尧是北洋勇将，军队已经扩充到七万人。他自兼北军第七师长，直属的部队则有湖南暂编第一第二两师和第一混成旅。归他节制指挥的还有协助长沙防务的第十一师（师长李奎元），驻防湘潭的第廿师（师长范国璋），驻防常德的第十六混成旅（旅长冯玉祥），驻防湘东的暂编第一师（师长张宗昌）和安武军一部分。
衡州和宝庆是长沙的前方两个据点，张敬尧派他手下的两员大将，湖南暂编第一师长田树勋守宝庆，兼长宝镇守使，第二师长吴新田守衡州。
南军方面，湘桂军各据有郴永一隅之地，不过沅水上游的广大地区则属于湘西民军势力范围，所以南军占领区的面积也不算小。
张敬尧（年—年月日），字勋臣，安徽省霍邱县人。
幼年当过粮坊学徒，后流落山东，因犯杀人罪潜逃京津地区。一六年参加袁世凯的北洋新军随营学堂，结业后任排长。一九零六年入保定军官学校第一期，毕业后一直在北洋军中任职。一九一一年任第三镇十一协二十二标标统。
辛亥革命爆发后，张敬尧率一营为先遣队开往武昌进行血腥镇压，因“杀敌骁勇”提升为团长。
一九一三年二次革命期间，张敬尧率部从湖北进攻江西，镇压革命，又擢升旅长兼南昌卫戍区司令。一九一四年段祺瑞出任河南都督，张敬尧随段祺瑞开往河南镇压白朗起义军，因镇压起义“有功”，被升为陆军第七师师长，调驻北京。
一九一五年八月，张敬尧联合北洋军界四十四人召开军警大会，鼓吹拥护袁世凯称帝。护国战争爆发后，张敬尧被袁世凯任命为第二路军司令，晋升陆军上将，率部进军四川镇压护国运动。
一九一七年段祺瑞出任国务总理后，任命张敬尧为苏鲁豫皖边境督办。南北战争北军攻占长沙后，又被任命为湖南督军。 。