出击陇东，彭德怀颇费了一番心思。此时的青马整编八十二师师部统辖下属第一○○旅分驻西峰、宁县；整骑八旅分驻庆阳、合水、西华池地区；骑兵二旅在悦乐、阜城。宁马整编八十一师的六十旅在环县、蒋台，三十五旅则在羊圈山，整十八师分驻三边。针对"马家军"的分布情况，彭德怀制定了先打骑二旅和骑八旅，再打一○○旅的计划。
计划获批准后，西北野战军便在彭德怀率领下，兵分三路，自安塞西进。西野一纵为右路；新四旅为中路；二纵及教导旅为左路。其中左路部队任务最为艰巨，因为他们肩负的任务是围歼青马在合水的部队，并消灭可能增援的青马之一○○旅。对于此，彭德怀甚至想得更远，在1947年5月28日向中共中央汇报部队动态的电报中，彭德怀、习仲勋曾联名报称："（合水）得手后定会引起二马调动，再集中兵力作战。"
在彭德怀指挥下，西野部队迅速突破陕甘两省边界，到达陇东的怀安、悦乐、合水一线。右路和中路两部进展较为顺利，很快就拿下了蒋台、悦乐，消灭了宁马整编第八十一师六十旅二七九团（欠一个营）和青马骑兵第二旅三团的5个连队，俘获马鸿逵的女婿上校团长马奠邦，以及少将副旅长陈应全，但左路二纵及教导旅却碰到了硬钉子，仗打得极为惨烈。
当时，西野左路军以王震指挥的第二纵队为主力，5月28日接近合水。二纵遂决定以三五九旅攻击合水，独四旅与教导旅打援。然而，教导旅前卫团刚到达合水以东10多公里的罗儿塬蒿草铺，便与青马整编骑兵第八旅警戒部队遭遇，双方立即展开了异常惨烈的战斗，我军损失较大。
29日凌晨4时，在旅长郭鹏部署下，三五九旅第七一七团开始向合水西北展开进攻，七一八团和独四旅第十二团向合水东进攻，七一九团作为攻城部队的预备队。29日中午，三五九旅七一八团和独四旅十二团先后占领了合水东部和南部诸高地，下午，七一八团杀入合水东关，守军退入城垣负隅顽抗。但七一七团却打得很不顺利，甚至预备队七一九团投入战斗后亦无法改变战局。当时我军按以往的作战方法，凭刺刀手榴弹逼近敌人的外壕前沿，但狡猾的"马家军"却早有埋伏，待我军攻击部队端着刺刀冲至近前时，预伏在暗道里的敌人突然出其不意地杀出来，我军指战员立足未稳，而"马家军"却个个精熟刀法，就这样，七一七团和七一九团不久便因伤亡过大撤出了战场。
由于对合水的城池布防掌握不够，西野的突击没能取得预期效果，而我军围攻合水的意图却暴露无遗，双方在合水周围形成了对峙局面。这时，驻守庆阳的"马家军"整编骑兵第八旅一个团，仗着骑兵的机动速度和精良的装备，高举战刀，气势汹汹，直奔合水而来，企图解合水之围。
