能势赖丰率领的千人，皆是家中从海岛上拉起的精锐，各个身经百战，身手非同小可。他伺机半日，觑见机宜，在城北双方酣战至最高峰时，迂回横冲上野军。
侧翼横冲，本就是合战中最有效的破敌手段之一。上野军苦战多日，军势疲累不堪，阵列趋于涣散，且毫不知情敌军伏兵何在，没能提前做好防备。
能势赖丰能征善战，先行帮助自己儿子能势赖吉解围，将断后的赞岐兵击溃，长尾大隅当场讨死，而后两边合兵一处，自北往南，与围攻的儿玉党摧枯拉朽一般击溃了上野军。
上野高秀无奈，只能领兵拼死往下津井城门口拼杀，细川赖纲打开城门想要接应，一直带兵等候许久的能势赖房，趁机暴起发难，夺占城门，接引后方杀来的儿玉党入城。
城门失陷，纵然一开始城内守军拼死抵抗，但等儿玉党大军抄掠而至，竖起长梯对城墙一并发起围攻的时候，城内的守军立时溃如山崩。
上野高秀等人往御馆方向逃窜，还想负隅顽抗，结果迎面撞上一队儿玉党兵卒，稍稍抵抗一阵，左右部众就再次溃逃殆尽，为敌所执。
正应后人为《平家物语》所题诗赞：传闻一战平氏愁，两军强兵过未休。谁道藤户总无事，近来长共血争流。
是役，上野军当场战死三百余人，溃逃中又被搜杀数百，反倒是下津井城内原本的守军，见大势已去后全都识相的弃兵投降，没有太多死伤。
宇喜多直家大胜过后倒也不急着入城，当下派人传令给花房正幸传令，命他火速进兵，收取常山城为首的各地。
俘虏一个不杀，捆好后装船，遣派兵马押送，将老弱筛选出来，先带回经山城。合并上次抓捕的两千於俘虏一起，选出精悍数百人，别立一势手队，调派此战中有功的武士过去充任奉公人，其他的拆分打散后，划分为三个庄园的劳役，在都宇郡内开垦耕种。
儿岛郡附近海岛上，秽多非人这类部落贱民，也有不少，此回前来助战的倭寇，大多出身于此，正好招其入郡为民，许其田亩屋舍，只要缴纳满五年的赋税，一概脱去贱役，重录良民户籍，。
如此作为，正好可以填补遭到掳掠而走的人口损耗，除了恢复耕桑外，也能增强儿玉党对这处新夺郡领的控制力度。
送走了俘虏，在城外就地掩埋死者，让随军的阴阳师和僧众简单超度一番，宇喜多直家这才将儿岛直光和鹤松丸这两位几乎无人记得的傀儡请回，打起上野家的旗号，缓缓入城。
下津井城不小，又是濑户内海重要的贸易港口，比经山城那座内地关城繁华得多，单是城下町就占地颇广，算上津凑的话一共是四处宿场，町户两千於，算上来此讨生活的船夫苦力，人口不下四千人。
只是此时街道上空荡荡的，满城没有半个生人。早先破城的儿玉党兵卒，少不得顺手牵羊，沿街店铺大都翻箱倒柜，被抢了个干干净净。
很多人家门户大开，被乱兵们借着搜查败亡的借口，抢掠一空，走到近处往里看，劫后余生的町民惊恐的躲在角落里，不时听见受辱女子的低声啜泣。
还是那句老话，水至清则无鱼，人至察则无徒。宇喜多直家故意入城稍晚一些，原因之一，就是在给破城的军势一点抢掠的时间。