国民党军见华东野战军停止南进，遂4月中旬全线进攻。1兵团除一部守备临沂、郯城、新安镇等外，主力积极“清剿”临沂、郯城东新安镇、海州北区，企图阻华东野战军南华中，并伺机配合2、3兵团的进攻。2、3兵团主力积极向新泰、蒙推进，企图占沂蒙山区，逼迫华东野战军主力退滨海一隅，与其决战。3兵团一部兵力守备泰安。
华东野战军分散国民党军兵力，求在运动中各歼灭其主力及南辟华中战场，4月中旬制订了泰蒙战役计划：陈士榘参谋长指挥1、3、10纵队围攻国民党军左翼、态势孤立的泰安守军整编72师，吸引整编75、85师由汶口北援歼灭，并诱进犯新泰、蒙国民党军回援，集中野战军主力分批寻歼回援的5军及整编11师等部汶口、太平邑区；华东野战军副政治委员谭震林指挥2、7纵队集结在青驼寺、双候集东区，7纵队待机南华中；4、6、9纵队集结在新泰、蒙区，待机击；8纵队进入临磁公路南山区，歼灭整编64师主力。
泰安，处津浦路徐济段冲，通便利，是鲁中重镇、军。守备泰安的整编72师原川军精锐，日械装备，擅长守备，辖34旅新编13、新编15旅，共2.8万人。其部署：34旅主力（欠3营）守备城区，一部配置在东、南、北关外各点及泰山南麓、韩岭、摩岭、玉皇顶各点；新编13旅（欠37团）附新编15旅主力守备城西关基督教堂北、育英中南及清真寺西娘娘庙、泰安车站、蒿山、云山庄至铁路东霍窑线各点；师部在城内。在各点，整编72师均构筑了较坚固的防御工，凭坚据守。
22日夜，10纵队及加强该纵的3榴弹炮连按进攻，相继攻占泰安四周据点，包围该城，1、3纵队至泰安南津浦路两侧区，准备打援。但至24日，汶口等国民党军整编75、85师虽近在咫尺，亦不敢援泰安。
华东野战军遂决定增调3纵队8师9师一部24日夜配合10纵队，加速攻占泰安，歼灭守军整编72师。10纵队从泰安北、东东南方向攻击；3纵队部队从泰安西南、西北方向攻击。经彻夜激战，控制泰安四关部。
担任3纵队8师政治委员的王六生记述该师参战攻占蒿山点的情况：国民党军次进攻“采取的是密集平推的部署，西津浦线，东至临沂，在飞机、坦克配合，叫嚷着撵我‘跳黄河’，日夜向北压。那阵势，那凶焰，真像泰山推倒，沂蒙山踏平似的。我一路往北走，干部、战士就嘀咕：‘怎搞的，真的黄河呀？！’‘了泰山，往北济南府，就是黄河了！’直泰山脚停住步，有的人才眉眼笑说：‘从泰安刀了。’”。他说：该师在鲁南战役，是打阻击，演“配角”，次担负主攻任务，指战员的战斗情绪特别高涨，投入战斗，便打了一硬仗，攻占了蒿山。（王六生：《泰安脚》，《星火燎原》选编8，441、443页）
蒿山，离泰安城7，俯视泰安全城，扼守津浦铁路。国民党军72师派有重兵固守一制高点。8师一部24日晚投入战斗，即向蒿山强攻，经半夜激战，次冲击，虽付较伤亡，但仍未拿主山头。该部改变战术，再次冲击，采取群动、互相掩护、替前进的战术，打掉敌人的子母堡，仅30分钟，就攻占蒿山，接着又占领火车站，部队攻城扫除一障碍。
25日黄昏，泰安城总攻。10纵队28师首先从东门突进城内，接着29师3纵队部队相继从南门西门突进，经次猛烈冲锋，激战至26日10，歼灭国民党军整编72师师部新编13旅、34旅共2万余人，俘其中将师长杨文泉、新编13旅少将旅长杨本固、少将副旅长宋竹青、少将参谋长韩明、34旅少将旅长李则尧、少将参谋长刘新甫等官兵15000余人。
整编72师系原川军精锐，师长杨文泉24日向顾祝同拍保证，坚决守住泰安。他怎有料，不两，就泰安丢了，己了俘虏。
国民党政府泰安战局异常关注，山东省政府主席兼2绥靖区司令王耀武经常向行政院院长张群电告战况。直4月30日，他才报告：“4月22日敌进犯泰安附近。”行政院负责官员哭笑不，乃批示：“据报载及国防部白部长在立法院5月1日报告，泰安业己陷敌手，但该省4月30日电所报尚系敌始进犯泰安情形，且该电5月2日始院，是此项情报，不免失其军机价值矣！”（国民党《山东省政府反共军战况及情报》）
泰安是在坚决阻击国民党军的强援军的情况攻取的。此，华东野战军在《泰蒙战役概述》中了详细记载：4月20日至27日止，在云蒙山麓东界牌、西至观山100的战线，我军展了英勇的阻击战，8、9纵队经7昼夜的血战，阻击了10余万敌军的陆空猛烈进攻，其中尤云台山、台山、黑山、白马关、紫锦关等复失、失复，战况更激烈，给进犯敌4000人的杀伤，保证了攻打泰安的胜利。
攻克泰安、歼敌整编72师主力并阻击10万军的增援，是华东野战军迎击国民党军山东重点进攻中取的首次胜利，中央军委5月6日在给陈、粟的电报中，此役评价很高，称“泰安胜”。