六营集歼灭战的枪声方才终止，2、3纵队就羊山集的敌整编66师了进攻。羊山集是一千户人的庄子，坐落在微山湖西金乡县的低洼带。
庄子北面是一座平突的山，形状很像一坐西北面东南、昂头蜷卧的公羊，庄子西北波状伏的山包，构“羊尾”，从通向“羊背”。东面的“羊头”，北面的“羊身”是高低不等的断崖。南面傍山是一条从西向东的街。
敌军利形构筑了坚固的工，加连日雨，三面环水，2、3纵队先有认真侦察形，即15、16日两日进行攻击。结果在敌人制高点火力压制，伤亡不，未奏效。
7月19日，蒋介石急飞封亲指挥，从安阳、西安、潼关调整编40师、10师、骑兵1旅，从洛阳调206师，编入王仲廉的4兵团。又从豫皖苏调整编52师，从山东抽整编7师、48师、85师、整编5师等主力部队，一齐驰援羊山集。同严令王敬久就近指挥整编58师及整编66师199旅，立即北渡万福河，解羊山围。刘伯承闻讯，又安排了另一口袋阵，等候敌人钻进。他令冀鲁豫军区部队首先在万福河北岸阻击，杀伤北援敌，在正面留一缺口，诱敌199旅河，切断其与整编58师的联系，在运动中予歼灭。
20日，敌199旅果渡万福河向北挺进，羊山集守敌派1团向南迎接该旅。3纵队及冀鲁豫军区部队，冒着倾盆雨，突将敌人包围野外。22日经两激战，全歼199旅及羊山集派接应的1团。199旅旅长王仕翘被生擒。他满身泥水，高举双手，很认真说：“昨晚我算了卦，知今不吉利！”
199旅的覆灭，使敌人各路援军畏缩不前。4兵团司令官王仲廉借口路泥泞，率部连日徘徊冉固集、城武区。
23日，中共中央军委毛泽东电令：“迅速扩已取的主动权，应即短期休整，速向别山跃进。羊山敌迅速歼灭，则歼灭，否则即转入休整。”
刘伯承与邓平研究认，各路援敌尚在行进途中，金乡敌已无力北援。主力全部集中，完全有迅速歼灭羊山守敌的握，是决定继续攻歼据守羊山的整编66师。他指示攻击部队重新组织侦察，并调整了部署，2纵队一部由西向东攻击，3纵队7旅、6纵队16旅从北向南攻击，3纵队一部由东向西攻击。各部加强炮火，着重夺取制高点。兵力达了我敌十比三的优势。
部署已毕，刘伯承、邓平前往羊山集前线，向纵队领导传达了中共中央军委的指示精神，问他前沿察了形有？几纵队指挥员说有。刘伯承说：越是胜利越细谨慎，不疏忽意，更不急躁。你亲前沿形，了解一什攻不，跟边指战员研究何打法。总，不再拖了，必须尽快羊山集的敌人歼灭。各纵队指挥员应命。2纵队司令员陈再、3纵队司令员陈锡联直接阵前沿勘察。陈锡联一子跳进齐深的水壕，测量壕沟的宽度深度，布置部队备壕器材，并制订了具体的进攻方案。
经细密的准备工，27日晚羊山敌动总攻。激战1昼夜，28日晚全歼羊山守敌整编66师。
至此，晋冀鲁豫野战军主力，在鲁西南连续战28，歼灭国民党军4整编师师部，9半旅，共5.6万余人。俘敌整编66师师长宋瑞珂、70师师长陈颐鼎、32师副师长理明亚4.3万余人，收复了鲁西南解放区，从打了千跃进别山的门。
羊山集失守的消息传封，蒋介石恼怒异常。了推卸责任，他“行动迟缓，贻误戎机，纵敌殃民，陷害友军”的罪状判处4兵团司令官王仲廉8年有期徒刑，遗职由罗广文接任。26日赶商丘指挥的陆军总司令顾祝同，灰溜溜退回徐州总司令部。
昼夜奋战28的刘伯承，满怀胜利的喜悦豪情，写了他的著名诗篇：
狼山战捷复羊山，炮火雷鸣烟雾间。
千万居民齐拍手，欣子弟夺城关。