谢肇齐自幼聪慧，唯因赤贫失学，幸得乡中陈姓塾师赏识，予以免束修施教。及长，考入厦门集美师范学院。毕业後依约返乡、执教於县立武平中学。後与集美师范同学林丰炳结伴，步行至黄埔岛，入黄埔军校六期骑兵科。北伐後，经国府考选，於1931年赴英国皇家军校接受西式军事教育。1934年毕业返国，随即进入装甲兵学校前身之陆军机械化学校任大队长，肩负训练中国有史以来首批装甲兵之重责。抗日战争初期，领中国唯一的机械化大队驻扎岳麓山，继续训练。1941年，接任抗战时期中国最大的新兵训练基地札佐演习场场长职。先後为胡宗南部、宋希濂部和杜聿明部等，训练了大批精悍士兵，成为中国最精锐之抗日部队。1945年初，任98军副军长，率领札佐演习场之全体万馀官兵，协同孙元良之29军，在贵州独山与平塘，击退企图经由贵州攻入陪都重庆之日军。

　　抗日战争结束後，於1947年，赴美留学，1948年毕业於美国陆军指挥参谋大学。返国後，历任骑兵17旅旅长，陆军32师师长，70军副军长等职。

　　国府迁台後，於1950年任陆军总部第五署署长，1951年转任陆军步兵学校教育长，在任内，步校连续两年被美军顾问团团长蔡斯将军评鉴为国军表现最佳之接受美援单位，蒋介石得知，於1953年，调其为黄埔军校教育长，并著令赴美一年，考察西点军校制度，为军校改制做准备。1954年谢氏返国，被任命为黄埔校史上第五任校长，自27期起，黄埔军校成为国军第一个四年制，毕业时颁授学士学位之军事院校。

　　1955年夏，蒋经国长子蒋孝文，进入军校28期就读，因不能适应严格之军事教育，课业亦落後，乃藉口鼻疾，1955年底即退学。另一同期同学为总政治部主任蒋坚忍之子，因成绩不及格遭退训。蒋坚忍迁怒谢氏，乃动用政工系统，罗织「摧残青年」之罪名，将谢氏於1956年初革职。事隔年馀，蒋介石查明真相後，再度重用谢氏，命其为军方代表，会同郑彦棻、李国鼎、沈宗翰、查良鉴等党政人士，参与筹划成立国防研究院，为国府此後二十年之党政军骨干作召训准备。1959年，谢氏与孙运璿、连震东、胡宗南等，同时入该院第一期受训。毕业後，因逐渐掌握实权之蒋经国反对，谢氏未得派任新职。蒋介石乃调其至总统府任参军。1960年，蒋介石以对调之名义，将谢氏之职务与三军联合参谋大学教育长龚愚对换，并晋升谢氏为中将。1965年，蒋经国就任国防部部长後，下令谢氏提前退伍。

　　谢氏一代儒将，擅诗文，经常在武平同乡会刊上发表诗作。早年除编撰国军经典骑兵手册「马事指针」及轻、重机枪维修与使用手册外，亦常在各国防刊物上发表对战术、战略之研究，迭获国防部年度佳作奖。军旅生涯结束後，曾在台北各大学任英文教授，1975年正式退休。1992年赴美依亲。1995年9月1日，病逝於美国旧金山。