三月中，宋金刚屡次求战，但李世民始终坚持不与之交锋。至四月时，唐将王行敏、李仲文在潞州（治上党，今山西长治）击退刘武周援军，李渊命唐将张德政占领了张难堡（今山西平遥西南），切断了汾水东侧的宋金刚粮道。四月十四日，与唐军相持近五个月的宋金刚粮草断绝，不得不向北撤退。李世民率部追击，一昼夜行200余里，与宋金刚部交战数十次，至雀鼠谷追上宋金刚，一日八战，大败宋金刚部，斩杀俘虏数万日，迫使刘武周放弃太原，与宋金刚屯兵于介休。