但是，这时汪精卫和阎锡山都早已失去了坚持到底的信心。当阎锡山接见张允荣的时候，态度极度消沉，连说：“不好办，不好办，仗是不能再打了，你回去告诉焕章，只有和蒙一起回山西，赶走了宋哲武还尚有一线希望。”
张允荣反复劝说不成，只好再问阎锡山对时局的看法，阎锡山亦不表示意见，只是态度消沉地一再说：“退到山西再说罢。”
由于冯玉祥的个性很强，看问题又很主观，这时，虽然局势的发展在军事上、政治上反蒋联军已经处于极为不利的地步，但是他仍然对他的西北军的战斗力极为自信，还在幻想用背城借一的办法，在河南郑州附近和中央军决战，一战而胜，一举挽回军事上的颓势。
因此，当宋哲元提出要他加强郑州到洛阳段陇海路西段的驻防兵力，随时准备退回西北，等待时机以图再起的建议时，冯玉祥始终是犹豫不决。只是在宋哲元和鹿鈡麟等人的一再要求下，他才派宋哲元带着葛云龙、赵登禹两师兵力驻防于洛阳一带，用以保证郑州到潼关这一段交通线的安全。他还是准备调集大部兵力布置在郑州外围，意图决战。
可是等到张允荣从天津回来，向他汇报见阎锡山的情况后，冯玉祥这才知道大势已去。仗既然打不下去了，那就要考虑退路了。去山西可不是冯玉祥愿意的，那里可是有宋哲武这个强敌，他认为还是回陕西对他更为有利，也更为安全。
正当冯玉祥想把主力转移到陇海路西段，准备退回陕西时，不知从哪突然冒出来的杨虎城彻底打乱了他的部署，突然出现在洛阳龙门的杨虎城，打了兵力单薄的宋哲元措手不及，虽然宋哲武指挥部队拼死血战，可仅两天功夫，还是被杨虎城攻克了洛阳附近的龙门，关上了西北军西去的大门。至此，西北军西撤的可能性已经很小，除非冯玉祥能马上击退杨虎城，否则只有退往晋南之一途了。
而这时，驻拓城的王殿阁师、驻伊阳的王凌云师、驻临汝的范龙章师、驻伊川的赵冠英师、驻许昌附近的宋天才军、驻许昌的李万林师、驻鄢陵的王振军、驻登封的李万如师和驻灵宝的李学正团，以及吕秀文、李肖庭、郜子举等各部队纷纷通电投蒋，西北军各部队和依附冯玉祥的杂牌军一时间乱作一团。
直到这时，冯玉祥才彻底明白，为什么在中央军发起攻击后，他的西北军和众多杂牌军们该抵抗的不抵抗，该作战的不作战，任凭中央军在他的防线里纵横钻绕来去自由的原因了。
不过，就是这样，性格坚韧的冯玉祥仍然没有放弃最后