攻克东关，战役进入二阶段——攻占主城战斗。但由主城外有深沟高碉，不夺取外壕，主城仍“固若金汤”。
鉴此，“前指”在4月15日决定：首先从城东、城南两面攻占外壕，挖破城坑，做爆破准备，占领登城有利阵，再总攻。徐总一再叮嘱部队：“坑战是前我攻坚的主手段。我的炮火弱，实行‘土行孙’的战法，钻。”必须手段夺取“控制外壕，保证破城坑业”。
19日，“前指”布命令，13纵在南门至城东南角段，8纵在东南角至东门段，太岳部队在东门东北角段，夺占外壕护城据点，选点挖掘破城坑。
同，了控制外壕，使我破城坑逼近城墙，我亦在外壕壁挖与暗堡、掩蔽部相通的暗，依托部队共挖了15条破城坑，保护些坑的安全争夺坑斗争的主动权，在主坑两侧方，又挖了40条掩护坑。暗堡、掩蔽部不断击，炸敌暗堡，堵敌暗。在此期间，我攻城挖掘坑的斗争是相艰苦的，除了缺氧、水、照明及保持方向、水平、距离等困难斗争外，同敌人的破坏斗争。梁培璜从在东关吃了坑爆炸的苦头，便更加狡猾，急忙组织了反坑部队。在城墙脚及外壕外沿，外外设有听音缸、听音哨，侦听动静，并挖了“Y”字形“T”字形的破坏坑听音坑，现我军坑位置，就马爆破、放毒，同面的偷袭、击，破坏我军坑口；飞机、炮火从城墙往投手榴弹封锁、阻挠我军坑业。致使我军破城坑被敌炸毁10次。
但是，由我业部队扬了机智、英勇、顽强的战斗风，掩护坑主动寻找敌人，先机爆破设计欺骗引诱敌人爆破，又采无声业法转向、绕等方法避敌人，最终是取了日见功效的果。
就，敌炸我，我炸敌，敌炸我挖，炸了再挖，在挖、听、炸的极其复杂、紧张、残酷、激烈的斗争中，我英雄的部队，坚强的意志，惊人的毅力无畏的精神，手指代替锨镢，两膝代替双脚，弹药箱代替平车，经72昼夜的搏斗，终在5月15日挖了三条各长110余米的破城坑，死亡神直通临汾城墙底部。
在“万俱备”，“前指”决定5月18日总攻，突破口选在东门南北段，8纵（欠22旅）在东门北段突破，太岳军区44团41团1营2梯队；13纵37旅在东门南段突破，38旅2梯队；22旅、39旅、太岳47团在城西堵歼溃逃敌（原在河西的吕梁军区部队太岳军区的3团5月初奉命北调，河西由22旅接替）；太岳其他部队在城南、城北助攻。
5月16日，“前指”察觉破城坑有被敌破坏的危险，便决定提前一总攻。随即连夜装填炸药，17日12，23旅在己挖的两条坑内，一条装黑色炸药1.24万斤，一条装黄色炸药6000斤。15，集中炮火始摧毁突破口两侧敌火力点，19坑点火，随着火光一闪，“土行孙”显神通，听轰隆两声巨响，坚固的城墙被炸两近40米宽的缺口，外壕同被填平。
23旅69团突击队首先登城，续部队相继跟进，该旅一部沿城墙向北展，迅速占领了东北角，其主力则向纵深展。24旅一部沿城墙向南展，很快夺取了东门城楼。
13纵随突入城内，直插纵深，分割包围，各歼灭诸据点敌。
24，战斗胜利结束。梁培璜率残部2000余人由西门及其南企图跳城墙突围，被我22旅39旅堵歼部，其余向山区逃窜。