这下子不仅刘昌祚差点气炸了，连被指定接替刘昌祚的姚麟都愤怒得无以复加，他坚决拒绝这个任命，一顿大吵之后，泾原军被迫退出灵州争夺，被打发到了外围负责防守。
高遵裕率领环庆军攻城，但灵州城是一座坚城，城防可以与太原城媲美，对于缺少攻城器具的环庆军来说，攻城没有一点效果。
对于西夏方面来说，如果灵州城丢失了，都城兴庆府就将不保。
因此，派出了最强大将仁多零丁来援。
在灵州城外围，泾原军没有抵挡住夏军的攻击，同样环庆军就没有抵挡就让西夏援军进了城。
这里面刘昌祚有没有消极抵抗，这个谁也不清楚。
但在事后，高遵裕果然指责刘昌祚没有抵挡住援军，要把刘昌祚拖出去砍了。
这激起了泾原军的愤怒，如果不是刘昌祚识大体，就出现军队哗变了。
这仗已经没法打了，敌方守城人数上升，而已方士气低落，刘昌祚也气得病倒了，围城十八天没有一点效果，还传来粮草被截的消息。
十一月底，天寒地冻，西夏人掘开了黄河堤，宋军被迫紧急撤军，但还有水被淹到了，大量辎重丢弃。
高遵裕领环庆军在前面跑，让泾原军断后。
在寒冷、缺粮、冰水中撤退的泾原军死伤惨重。
到了十二月上旬，两支军队才撤回到宋境，环庆军损失五分之一，而泾原军减员过三分之二。
种谔的鄜延军在十二月中旬到达白池，再也无法前进，只好撤军。
熙河军团从兰州出发，东进女遮谷，在女遮谷击败西夏军队，继续向天都山进军。
十一月上旬，西夏集结数万精骑，与熙河军团在天都山脚下野战，没有悬念，西夏人前锋被歼灭，只逃出了后队。
王韶冲上天都山，把李元昊留下的皇宫烧成了白地。
但是，局部的胜利并不能挽救全局。
灵州城下失败的消息传到京城后，赵顼陷入深深的失望中，但仗打到这个份上，再打下去意义已经不大了，他只能下令撤军。
五路伐夏，虎头蛇尾。
首先是部分领军将领的无能，如高遵裕就负有重大责任，王中正出兵竟然只要了半个月的粮草；
第二，后勤供给跟不上，对这样重大战役的困难估计不足，宋军不是败给了夏军，而是败给了天气。
此次战役中，宋军展现了强大的野战能力，军队实力已经完全超过西夏军队，鄜延军攻取了米脂，熙河军团攻取了兰州，由于在敌境作战，西夏损失尤其惨重。
此次宋军虽然被迫撤出，但此战过后，西夏军事、国力开始走向衰落。
宋朝的军队撤出西夏，西夏上下松了一口气，他们已经准备开始和宋朝进行谈判，催促宋朝继续开边贸易。
大约半年的时间战争，已经让西夏的经济受了重挫了，西夏迫切需要宋朝的商品重新进入了。
然后，事情似乎没有那么简单。
西夏人发现，宋军撤退之后的真空地带，一夜之间出现了许多的盗匪。
西夏人以为这些盗匪好对付，派出小拨军队清扫，没想到派出去的军队都销声匿迹了，有活口逃了回来，西夏军队才发现他们的对手没有那么简单。
真空地带里出现的盗匪可不简单，他们的设备精良，刀枪剑戟都极其精良，甲胄马匹更是精选，兵将更是精锐中的精锐，来去如风，寻常军队都见不到人。
西夏人一开始还怀疑是宋朝的军队留下来的，但和宋朝抗议之后，发现宋朝也是一脸的懵逼。
因为盗匪同样对宋军动手了，他们驱逐了宋朝的军队，宋朝守军本来就想走，被这些强悍的对手这么一逼迫，只好退了个干干净净，而宋朝认为这些人是西夏人。
宋夏双方使节面面相觑。
不过他们都认为这是对方在撒谎，各自冷笑之后不欢而散。
对于这个话题，他们也不愿意谈了，在他们看来，这不过大仗之后的残余罢了，各自清扫就好了。