1915年出生于贫农家庭。年幼时给亲戚家放牛，1931年淮河特大水灾，焦玉山离家逃荒到固始，遇到红军，坚决要求参军，连长看他个子矮，年龄小，不肯收，政委詹才芳把他留在连部当了勤务兵。

　　1932年，焦玉山在战斗中负伤。

　　1933年，他任红30军88师265团团部警通排1班班长。1934年在战斗中腰部受伤。他经李先念介绍加入中国共产党。

　1935年他在李先念指挥下，强渡嘉陵江。他在剑门关口战斗中负伤，师首长派两个战士搀着他过了雪山。第二次过雪山时，他和战士们在篝火旁睡着了，被大雪盖住，只有焦玉山和勤务班长爬了出来。焦玉山先后担任红30军88师263团排长、89师267团连指导员、红四方面军总政治部学兵连连长、红四方面军总部便衣队队长、警卫营副营长、骑兵连连长。西征时，焦玉山左手被子弹打穿。西路军失败，他被地方民团抓住，在监狱里关了10多天，后在押往青海途中逃脱，被援西军救回。抗日战争时期，任129师385旅团警卫连连长，在关家□战斗中头部负伤。他担任了独立支队营长、师教导大队副队长。1942年进抗大学习，任队长兼教育主任。解放战争时期，任东北野战军4纵12师34团团长。新开岭战斗，34团配合兄弟部队攻打赛马，兄弟部队进展不快，师长命令34团出击，焦玉山指挥34团从敌侧翼发起猛烈攻击，打下了赛马。新开岭围歼战开始后，34团叁次强攻，拿下敌25师固守的阵地。焦玉山指挥34团解放了本溪，在辽阳总攻时，部队5分钟就登上城墙。攻打鞍山时，34团占领神社山和市政府大楼。在塔山阻击战中，34团开始的阵地在塔山堡和铁路桥头，塔山阻击战的第二天，守卫在村口最前沿的34团遭到敌人一个梯队接着一个梯队的猛烈进攻，一片混战，34团伤亡惨重，连团预备队也用上了，一直打到刺刀见红。第叁天纵队调整了部署，34团集中守备塔山堡，敌人进攻的更猛烈，敌敢死队每人胸前挂一排手榴弹，冲锋时高喊“攻下塔山有赏，官长叁级！”焦玉山指挥34团打得十分艰苦，34团出现了“向我开火”的英雄人物。战后12师34团获得“塔山英雄团”称号。焦玉山成为全军闻名的“塔山英雄团”团长。

　　1949年，4纵改称41军时，焦玉山任41军123师团长。

     焦玉山先后担任过广东省公安厅副处长、处长、省公安总队副政委、守备10师师长、佛山军分区司令员，1962年毕业于高等军事学院基本系，任47军副军长、广西军区副司令员、广州军区副参谋长。焦玉山参与指挥了1974年西沙永乐群岛反击作战和1979年对越自卫反击战。

　　1964年晋为少将。获二级八一勋章、叁级独立自由勋章、二级解放勋章、一级红星功勋荣誉章。

　　1990年去世，骨灰安葬在塔山。