段德操一回营，殷开山第一时间选择了撤退。唐军任何一支步兵，三千人也挡不住三千骑兵的冲击，李渊的骑兵可都是根据突厥骑兵的方式训练的，加上唐军装备精良，战斗力甚至在突厥骑兵之上。殷开山把所有的骑兵交给段德操断后，另外安排吕世衡、敬君弘各率三千弓弩手在狐岐山埋伏。

破六韩拔魁的骑兵被段德操缠住，敬盘陀的两千杂骑落入了埋伏圈，箭雨之下，只有两百多人跟着敬盘陀冲出了伏击圈。但是刘赟率三千骑趁机绕到了唐军骑兵的背后，合破六韩拔魁前后夹击，大破唐军；段德操突围途中，又被蒙摧、柏蔚率一千骑伏击，五千骑兵伤亡过半。

吕世衡、敬君弘闻讯撤退不及，被破六韩拔魁和刘赟追击百里，斩杀俘虏五千人，段德操三人搜集残兵，退到灵石县，已经损失了七千之巨，三万大军竟然一战去了三分之一，伤亡是对方的两倍。一千多步兵陆续被河西军放了回来，得知骑兵不肯投降，要么伤重而死，要么被河西军押做劳役，说是一年以后释放，殷开山等人无不变色。

殷开山等人熟知兵法人性，河西军的这个举动就是告诉唐军官兵，只要投降就能活命，做几天俘虏就会被释放，长此以往，唐军的斗志就会被逐渐削弱。殷开山不能处分放回来的将士，只能警告一千多人，不允许在军营里胡言乱语，另外安排人慢慢监视；殷开山把战况和自己的想法写了公函和信，派人送往潼关。

韩世谔知道鱼俱罗的大军已经过河接应自己，立即整顿两万大军南下，进攻灵石县；灵石县四周群山环绕，山峦重叠，中部为汾河谷地，县城即居于谷地之中，殷开山在县城扎营，各个山道隘口安排重兵把守。唐军仗着地势之利，韩世谔空有骑兵，只能靠着杨延石逐个关口争夺，效果不大。

双方激战到第三天夜里，灵石县背后的雀鼠谷突然遭到袭击，守卫的五百官兵被杀，敌军杀进粮草堆积的后营，漫山遍野地放起火来。唐军措手不及，等段德操带人杀到，敌军已经退回雀鼠谷，唐军救火到天亮，发现唐军死了一千多，粮草几乎被烧尽，城中余粮不足三日；而雀鼠谷里，飘扬着一面“甄”字大旗。

殷开山正在调兵遣将，准备夺回雀鼠谷，灵石县北面的关隘千里径竟然被炸塌了，关隘上两百多唐军全部阵亡，后续的三百步兵扑上去，未能挡住佰刀兵，被对方夺取了高地。等敬君弘组织唐军的反击时，河西军已经布置好弩箭，根本不需要城墙，就让上千的唐军倒在山道上。

段德操建议道：“殷将军，事已不可为，不如趁早从韩信岭退兵，丢失了灵石县，最起码能保住大军。”

殷开山当机立断，命段德操拦住雀鼠谷的甄翟儿，敬君弘封锁千里径，立即起大军，分路奔往韩信岭；等韩世谔的骑兵冲下千里径，已经是次日凌晨，连段德操、敬君弘都跑了，只俘虏了四千多唐军，来不及运上韩信岭的七百匹战马全部被唐军杀了。

韩世谔观看着唐军的营寨，笑道：“不错，够狠。好在我们一举拿下灵石县，告诉杨延石，等唐军退走后，拿下韩信岭，战役就算结束了。”

鱼俱罗在左国城接到战报，立即派朱邪阙率领三千沙陀族骑兵南下，配合毋端儿进攻隰川、永和，毋端儿突骑袭占永和县后，全力东进，在黄崖山一举击溃五千隰川县来援的唐军。侯莫陈镠早已联系了隰川县的甄翟儿旧部，趁机暴动，杀了郡守，迎接毋端儿大军进城。