战斗间隙，胡青山还带领二连官兵，协同地方政权把工委、警察支队、供应站、县政府等单位的革命力量组织起来，修筑加固工事，坚守炮楼、警察局，并肃清城内反动分子的叛乱，逮捕反动分子的爪牙警察局长等3人。

    4月16日，敌人发起了第三次大规模进攻。激战一天，双方均有较大伤亡。二连7班守卫的南山阵地受到猛烈攻击，1人牺牲，8人负伤，形势十分危急。胡青山决定带领机动班前去支援，他郑重的向留守的指导员王鹏月交代：“如果我牺牲了，你要代理我指挥二连拼到底，坚守伊吾。”胡青山和救援及时赶到，击溃了围困南山阵地的敌人，敌人的第三次进攻又彻底失败。敌人在对伊吾发起军事进攻的同时还展开了所谓的“政治劝降、政治诱降”，但均遭失败。

    守城胜利 荣获嘉奖

    战斗进入相持阶段，因供给困难，二连官兵饥寒交迫，胡青山以身作则带领全连战士以必胜信念，想方设法克服困难，坚守阵地。在没有碉堡、没有帐篷庇护的恶劣条件下，战士们抱着步枪在单人掩体内度过了35个夜晚，还在露天中顶住了4次大雪的“袭击”。没有药品，就烧棉布灰敷在伤口，用冰雪加盐煮沸代替酒精消毒；没有绷带就撕下衣服包扎伤口。没有水和热饭，全连官兵仅靠咀嚼麦粒维持体力。

   伊吾保卫战中，敌人先后发起7次凶残的进攻以及数十次小规模的袭扰，都被胡青山带领的二连全体官兵击退打败。战斗持续到5月7日，十六师派出救援的两个营赶到伊吾县，与二连官兵联手彻底歼灭叛匪，历经40天的伊吾保卫战取得全面胜利。

    5月9日，第一兵团首长及六军军长罗元发、政委张贤约通令嘉奖二连，授予该连“模范连”光荣称号，胡青山被六军授予“特级战斗英雄”称号。

    5月19日，中国人民解放军副总司令、第一野战军司令员彭德怀在接到伊吾保卫战报告后给胡青山和二连发来嘉勉电：你们被乌斯满、尧乐博斯匪徒包围四十日，匪众我寡，在你领导下的二连同志们，打退了敌人的七次猛攻，使匪终不得逞，并给予匪徒以极大的杀伤。你们这种坚强勇敢，能够克服困难，善于学习的精神，是不愧为人民解放军的称号！

    1950年9月，全国战斗英雄代表会议授予胡青山“全国战斗英雄”荣誉称号，胡青山作为代表受到毛主席的接见。1951年3月，第一野战军暨西北军区授予二连“钢铁英雄连”荣誉称号。

    1951年，胡青山作为一名营职干部被特招到南京军事学院学习，离开了他曾浴血奋战的伊吾。毕业后，他留校任教。1955年，胡青山被授予少校军衔，荣获三级解放勋章和三级独立自由勋章。1962年，胡青山主动请缨到西藏军区工作，在中印边境驻守了4年。1966年，他因病转业到江苏省徐州市，一直工作到离休。2002年9月22日，胡青山在徐州因病去世