北伐开始后，民国16年2月，转入国民革命军的张义纯担任了程潜江右军的少将参谋处长。程潜所部攻克南京后，在南京举行了一次胜利阅兵典礼，张义纯荣幸地担任了阅兵指挥官，其后随军继续北伐。在山东郯城，张义纯收到李宗仁邀约他的电报，便赶到芜湖见面。这是因为张义纯在10余年的南北征战中，有了点名气，得了“小张飞”的雅号。李宗仁、白崇禧诚恳邀约张义纯共事。感于知遇，以后20多年，张义纯基本上都在桂系服务。

后在芜湖就任第19军2师中将师长，不久，参加龙潭战役，又担任新成立的十八军副军长。民国18年1月编遣会议后，十八军和刘和鼎旅合并为第五十六甲种师，张义纯为师长。“蒋桂战争”中，桂系失败，张义纯在杭州居闲5年。1933年6月任军事参议院少将参议，年底辗转来到桂林，任第15军参谋长和第7军参谋长，1936年10月任中将，同年任第48军参谋长，嗣后调任第二十五（独立）师师长。其间两广爆发的“六一”抗日运动，对张义纯影响很大。七七”和“八·一三”事变以后，国民政府迫于形势，对日宣战。蒋介石初拟集中兵力保卫沪京（宁）地区，任命李宗仁为第五战区司令长官，指挥山东、安徽、江苏地区战事。时为第四十八军副军长的张义纯率所部在淞沪会战中大场一带与日军血拼，伤亡惨重。上海弃守后，张义纯部驻皖南，1938年2月任安徽省政府委员兼民政厅长并代理安徽省政府主席，在六安就职。这一阶段，他的主要政务是配合军事抗战，如在六安北大营办了乡政人员训练班，收容沦陷区来的青年1000余人，组织士兵职员宣传抗日、动员参军等。不久又兼任安徽省军管区副司令，7月任第48军军长，台儿庄会战后，张义纯又参加了武汉会战的外围保卫战。回守大别山不久，其部打了一场堵截仗，迫使孤军深入的侵略者不得不回撤。1938年秋天，新四军军长叶挺访问立煌县，张义纯参与接待。1939年10月，第二十一集团军总司令兼安徽省主席廖磊因脑溢血病故，张义纯代理总司令。两月后李品仙到立煌接任廖磊遗缺，张义纯任副总司令。其间张义纯部在合肥城郊大蜀山伏击日军，全歼日军警备司令三浦中佐以下官兵500余人，缴获的战利品遂送到立煌展览，人心大快。此后直到1942年，日军不再试图进攻立煌。仅对立煌行频繁空袭。国军的战线布置，因皖境新四军逐渐强大时常侵害国府地方单位与部队及日军之久守不攻使李上将有轻敌之想。于是皖境驻军，渐渐将兵力指向新四军的2师、7师及鄂东方面的5师。第48军也向皖东、潜太发展。

1942年12月18日，日军中国派遣军总司令畑俊六召集各军司令官到南京开会，宣布因兵力不足，中止进攻四川的5号作战。当天会议结束之后，第11军司令官冢田攻搭机返回武汉。日军航线是由安庆经怀宁，再循大别山脉飞往武汉。因是日大露弥漫，日机在怀宁上空减速寻找航标，被太湖第138师小炮连发现击落，坠毁于弥陀寺。日军大为恼怒。年底，日军中国派遣军决心对立煌进行一次短促突击，以打击重庆政府的抗日意志。

1942年12月，金寨的路透社发布消息，称日军调遣兵力到东，有入侵大别山倾向。此时日军摆出打通平汉路姿态，第21集团军竟将第84军调往平汉线。第7军当面合肥方面日军也开始集结，第7军军长张淦将军认为日军将由合肥发动主攻，所以按兵不动，监视敌情。于是立煌当面只有滕家堡的第39军。12月下旬日军突然在罗田、红安集中兵力，有直捣立煌之势。其时李品仙赴西安参观。党政军务原应由第7军军长张淦代理，但李主席为稳定皖人情感，命皖籍的第21集团军副总司令兼安徽军管区副司令张义纯中将代理。张义纯虽为桂系元老，但久未指挥野战军，在部队中较无威望，此举使门户之见甚深的桂军大为不满。张义纯将军审知日寇有可能向立煌突进，但第84军已调离。除第39军之外最近的第7军六安驻军离立煌有230华里。立煌兵力空虚，也没有相当的战线布署。张副总司令审视地形，将眼光摆在松子关。

山区地形复杂，第39军主力在滕家堡，在后方无法点点布防。松子关掌握大别山区的南北通道，控制鄂东到金寨的通路。清季捻军首领龚德柱战死于此。张代总司令决定将立煌的所有兵力集中到松子关布防。但立煌已无兵可调，张代总司令于是集结第21集团军警2团，警3团〔团长杨昌其〕，立煌县自卫大队〔大队长江亚东〕及保安第四团〔团长吴建平〕，以警2团、警3团驻市区，自卫大队及保四团即跑步接防松子关。12月28日，日军以第3师团第68联队组成卢田支队向金寨推进。30日第68联队抵达滕家堡，但突然转向东进，由滕家堡东的僧塔寺突入瓮门关。另一路由麻城出发的牵制部队于1月1日抵达长岭关。进攻瓮门关的日军第68联队为加强步兵联队〔约4,000人〕，瓮门关守军安徽保安第九团农学民部一个营奋起抵抗，激战四小时后阵地全毁。保九团残部撤退。日军占领天堂寨瓮门关之后，抄小道翻越四望岭进攻立煌。1月1日夜，县大队跑步抵达离松子关15里的吴家店。由罗田天堂寨瓮门关到立煌的道路是由前畈经燕子河到流波，接上立流公路。四望山只有牛车小路可行，但日军在汉奸指引下对地形了如指掌。日军翻越四望山之后即进入泗洲河河谷。河谷西南尽头为石景山，国军在石景山有六个秘密弹药库，连当地人都不明白位置。但日军早已掌握情报，找到并炸毁了这批弹药库。炸毁弹药库之后日军向龙门河推进，沿途均为极陡峻的山路。所以日军由31日上午走到下午1时才到龙门石，其后续辎重直到当晚才到。日军到龙门石后即将当地人民屠戮殆尽，将龙门石的小店均燃烧照明。随后翻越马面山，西向攻往八河。1月1日夜，日军进抵下八河。日军指挥官在下八河停顿结集结部队以进攻茅坪。1月1日下午，第171师第513团萧湘扬团长率一个营赶赴茅坪。集团军急令萧团长到查儿岭，长冲岭布防。萧团长命第八连连长周铭当夜在柳树沟警戒，营主力到本儿岭布防。萧团长抵达查儿岭之后与总部通话，总部原判断日军会由流波公路进攻，但是夜8时，总部突然通知日军已出龙门石，向八河推进。萧团长大为惊讶，日军若由八河方向过来，即会居高临下。此时总部电话中断。萧团长自作主张将部队撤到查儿岭的制高点黄毛尖，次日又撤到花石的东大山。

茅坪是山间小圩，元旦夜当地挤满了商贩以及舒城师管区的1个壮训大队。日军于夜间逼近夜袭，壮丁大队的押运官兵奋起抵抗，击毙日军数人，但寡不敌众，全部牺牲。日军将屋内281名壮丁全部拉出用剌刀捅死。继之杀害居民商贩数百人。总计茅坪屠杀罹难军民561人。战后281名壮丁被集体埋葬在茅坪公路边，大坟今日犹存。第513团第八连在乌鸦河柳树沟布防任务未变。乌鸦河柳树沟距茅坪仅五华里。日军前锋在1月2日上午6时抵达，先以一个小队搜索前进。周铭连长已疏散柳树沟居民，完成布防。日军侦察小队接近柳树沟时连部六○炮照准一炮，正中日军纵列，击毙日军8人，马两匹，狼犬一只。日军马上集中火力压制该连右侧，并试图向查儿岭突进迂回该连。该连左翼已经在公路转弯处埋伏，待日军逼近时突然猛烈扫射，日军伤亡惨重溃走。日军只好分兵，以一路由乌鸦河口向石路岭绕路，意图直冲陈冲的第21集团军总部，并牵制查儿岭。一部正面进攻柳树沟。第8连坚守柳树沟，到下午二时已打退日军多次攻击。日军于是以一部轻装攀登长冲岭，越过蜡烛尖向查儿岭迂回。此时第八连左翼排查觉日军迂回，排长急令一班长通知连长撤退。此时周铭连长亲自指挥重机枪对日军射击。班长向连长大声喊话报告，周连长正色答道：“我的机枪不停，就有权不许敌人由此处通过，若是活着出去，怎么对得起这么许多战死的弟兄？守一刻是一刻，我决心与阵地共存亡。”言毕，周连长命通讯员〔周氏外甥〕与副排长，机枪手离开机枪掩体，准备亲自操作机枪与日寇偕亡。传话的班长正想再喊，蜡烛尖的日军已居高临下向机枪巢扫射，周连长操起机枪射出愤怒的火舌，与日军同归于烬。在第八连覆没之后，援军第173师第517团两个营也赶到查儿岭。2日下午前锋排开始登岭，被岭上日军扫射，全排覆没。第517团主力退回南庄。在查儿岭失守后，第68联队主力沿公路向古碑冲窜犯。此时，第39军刘尚志军长已发现日军绕开该军主阵地带向后方穿插。刘军长又急又气，下令主力第54师孔繁瀛师长亲率全师回援立煌。2日凌晨，第54师前锋过松子关，与县保安大队遭遇。孔师长亲询县大队大队长江亚东是否与日军遭遇，江氏答以未与日军遭遇。孔师长大愕，不知日军窜往何方。天亮后侦察兵回报日军两路已到茅坪。孔师长在松子关停驻，侦察日军动态。1月2日上午，向石路岭窜犯的日军抵达石路岭。张义纯为保卫总部，命干训团教育长汪平组织阻击。干训团训练文官，学员只受过基本教练，没有战斗能力。所以只留下几个瞭望哨。但战干团〔训练行伍军官〕百余学员则自发占领阵地布置阻击。上午11时，日军见石路岭无动静，于是放松戒备登岭。战干团学员突然自路边冲出以驳壳枪扫射日军，日军前锋小队连滚带爬地滚下岭去。日军主力马上炮轰石路岭。战干团只有教练用步枪数支，无法抵抗，于是在伤亡三十余员后撤退。日军登岭时已是下午四时。随后日军焚毁第21集团军粮库及立煌第二区粮食分库。据当地人民回忆，这批日军行军时日夜不停，夜间将路边房舍村庄烧毁照明。部队纵列前有一组着黑衣的汉奸，携有极详细地图，绘制了村庄小道，连路边有特征大树，土地庙均详细标绘。日军行进间均不开枪，只以剌刀捅杀接近群众以节省时间。日军随军马匹四百余匹，轿子数乘，担架数十副。1日，西路由罗田开来牵制的日军一个大队抵达长岭关，关上仅守军两个班。关上哨兵望见日军，即开一枪示警。日军向枪声处开一炮将关上哨棚掀掉，日军顺利进入立煌县。2日夜，该股日军经漆店、白果、牛食畈抵达李集，焚毁小茅坪。日军占领丁埠后沿五桂潭蹚河到曹畈，抵达金寨北面。1943年1月1日清晨，张义纯代主席在立煌机场元旦庆祝大会上致词，提到日寇动向时仅谈道：“近来鄂东敌人有蠢动迹象，这是日寇装模作样的故技。大别山虽然不是铜墙铁壁，但也决不让敌人轻易侵入……”此时台下人群突然骚动，以会场已可闻远方传来之隆隆炮声矣。参加大会的群众纷纷逃散。大会一散，军民纷纷拥出立煌向麻埠逃去。元旦夜9时，第21集团军总部由参谋长陆荫楫将军率领向霍邱撤退。县府各单位由县长杨思道率领避往莲花山。张义纯代总司令在二日下午战干团撤下来后离开陈埠，亲往独山向第7军求援。2日日军已到县城。上午日机四架在城区掷弹扫射，使城区起火。下午7时，古碑冲方向日军主力在2日下午7时烧毁古碑冲街与安徽学院照明，下午5时由石路岭入侵日军则烧毁第21集团军总部。是夜两路日军会合于市区。西路日军一个大队于次日凌晨赶到。在抵达立煌后，日军开始惨绝人寰的大屠杀：“日军进入金家寨后便开始大烧大杀，所遇军民无一幸免。逃跑者当活靶射死，相遇活抓者无谓人多人少全用剌刀捅死。在鹭鸶窝，被日军杀死在路边，塘边，山边的人遍地皆是……”在大肆烧杀后，日军分两路撤退。西路过史河，经双河、铁冲往商城，东路经叶集往潢川。途中一部遭赶回驰援的第174师截击，牛秉鑫师长原想将该股日军包围歼灭，但第84军以救援省会任务重要，饬第174师不许恋战赶往立煌。日军退走前将立煌财物抢劫一空，然后以一个骑兵小队持火把将整个立煌25余里市街烧毁。这把火也引燃了附近森林：“四周大小山头枫桐朾栗被烧毁者有数万株，火焰所至，农舍、稻垛、牲畜、家禽全成灰烬，方圆数十华里内断墙残壁，焦尸遍野。腥味散布数十里。火势之大，十多华里开外，夜间地下掉根针都能找着。”战后估计损失在100亿法币以上。3日，第54师孔繁瀛师长才得到确切情报日军已掠占立煌，于是急引兵驰援立煌。当日孔师长抵达立煌时日军已退走。在第56师进入立煌时，元旦庆祝大会会场上“庆祝元旦”的彩幅，被日军改为“庆祝完蛋”。当一万多国军官兵面对如此羞辱，满地焦尸残骸，莫不抱头失声痛哭。哭声震动山谷，撼天地，恸鬼神！张义纯代总司令2日到麻埠，3日到达独山第7军军部。张淦军长见代总司令亲临，只好出兵。6日，第七军将第171师调到独山，七日张代总司令与张军长一起率第171师出发，沿六立公路赶回立煌。8日才回到县城。

立煌战役是国军战史上的显著失败，也象征孤立在敌后山区建立主力守备区战略思想的落伍。在中条山、吕梁山、太行山的类似游击基地，均先后被日军摧毁。现代化的野战军应勇于在战场上运动歼敌，而非固守要地，坐以待毙。。

战后，第21集团军代总司令张义纯中将撤职，调任军委会中将高参。战后1个月李主席返回立煌，将立煌警备司令丘清英，立煌县长杨思道撤职，参战的第527团团副与7名营长扣押。但不久后均无罪开释，按兵不动的第7军军长张淦无处分，此亦能一观桂系内部人事褊袒之恶斗。此为桂军沦于消亡的原因。

1943年1月任第33集团军副总司令，1943年2月任军事委员会中将高参，不久入陆军大学将官班学习。抗战胜利后任国防部中将高参，参与制订并部署对解放区的进攻。1947年冬天至来年冬春之交，张义纯还率国防部点验组去东北，筹划保安团队改编正规军事宜。1948年夏李品仙就任安徽省主席后，张义纯任皖南行署主任，次年李宗仁代理总统，旋任为徽省政府主席兼安徽省保安司令和安徽省军管区司令，人民解放军横渡长江，5月8日，张义纯在在浙江开化溃退途中投诚。1950年定居上海。1956年，张义纯参加上海市民革。在张治中的关怀下，1962年，张义纯参加了上海市参事室的工作。后任民革上海市委对台工作宣传委员会委员，上海市人民政府参事，1979年当选为民革中央团结委员。1982年9月19日在上海病逝。