张公谨早年曾效力于 王世充，任洧州 长史。618年（武德元年），张公谨与 洧州刺史崔枢投降唐朝，被任命为邹州 别驾，累迁至右武候长史。

621年（武德四年）， 徐圆朗反叛，攻陷 楚丘（今河南 滑县），欲围攻 虞城。 河南道安抚大使 任瑰命崔枢、张公谨率领各州豪强作质子的子弟一百多人去守卫虞城。副使柳浚道：“崔枢和张公谨原来都是王世充的部下，各州人质的父兄也都反叛了，这一去恐怕会叛变。”任瑰没有理会。在张公谨二人的坚守下，叛军难以攻破虞城，撤军而去。

后来，张公谨在 徐世绩、 尉迟恭的引荐下，被秦王 李世民召入秦王府。当时，李世民与太子 李建成、齐王 李元吉不和，向张公谨求取自保之策。张公谨的回答很合李世民的心意，从此逐渐受到器重。

626年（武德九年），李世民欲诛杀李建成、李元吉，但又犹豫不决，便命人 占卜以测吉凶。此时，张公谨从外而入，将占卜的龟壳扔在地上，并道：“占卜是为决定疑难之事，现在事情并无疑难，还占卜什么？如果占卜的结果不吉，难道能够停止行动吗？”李世民深表赞同。

六月四日，张公谨与 长孙无忌等九人埋伏在 玄武门外，发动 玄武门之变。李建成、李元吉死后，其党羽 冯立、 薛万彻、 谢叔方等人率军赶到玄武门，欲为太子和齐王报仇。张公谨勇力过人，独自关闭大门，将冯立等人挡住门外，冯立等人最终溃散。七月，张公谨升为左武候将军，封定远 郡公。

627年（贞观元年），张公谨出任 代州（今山西 代县）都督，并上表朝廷请求实行 屯田。此后，张公谨对时政得失多次进言，都得到 唐太宗李世民的采纳。

629年（贞观三年），张公谨上奏朝廷，认为可以讨伐 东突厥，并列举六条理由：“ 颉利可汗奢华残暴，诛杀忠良，亲近奸佞，此其一； 薛延陀等部落均已叛离，此其二； 突利、拓设、欲谷设均得罪颉利，无地自容，此其三；塞北地区经历霜冻干旱，粮食匿乏，此其四；颉利疏离族人，委重任于外族，胡人反复无常，大唐军队一到，必然内部纷乱，此其五；汉人早年到北方避乱，至此时人数较多，近来听说他们召聚武装，占据险要之地，大军出塞，自然内部响应，此其六。”唐太宗遂任命 兵部尚书李靖为行军总管，讨伐东突厥，张公谨为副总管。

630年（贞观四年）， 颉利兵败，遣使请降，唐太宗命 鸿胪寺卿唐俭前去抚慰。 李靖与 李勣（即徐世绩）在白道会军，打算出兵偷袭东突厥。张公谨得知后，反对道：“皇帝已接受他们投降，而且 唐俭还在突厥，怎能出兵进攻？”李靖不听，发兵出击，终于平定了东突厥。

东突厥平定后，张公谨进封邹国公，改任 襄州都督。

632年（贞观六年），张公谨病逝于任上，年仅三十九岁，追赠左骁卫 大将军，谥号为襄。

639年（贞观十三年），唐太宗追思张公谨旧功，改封他为郯国公。

654年（永徽五年）， 唐高宗又追赠张公谨为 荆州都督。

张公谨去世后，唐太宗欲到郊外致哀。 有司奏道：“按照《 阴阳书》的说法，辰日不宜哭泣，这是风俗。”唐太宗道：“君主与臣子就像父子一样，哀痛哭泣是感情自然流露，怎么能避忌日呢！”于是痛哭一场。

李世民： 司徒赵国公无忌、……故左骁卫大将军郯襄公张公谨、……故 徐州都督胡壮公 秦叔宝等：或材推栋梁，谋猷经远，纲纪帷帐，经纶霸图；或学综经籍，德范光炜，隐犯同致，忠谠日闻；或竭力义旗，委质藩邸，一心表节，百战标奇；或受庙堂，辟土方面，重氛载朗，王略遐宣。并契阔屯夷。劬劳师旅，赞景业於草昧，翼淳化於隆平。

刘昫：敬德夺槊陷阵，鼓勇王师，却赂报恩，竭忠霸主。然而奋拳负气，非自全之道；文皇告诫之言，可为功臣药石。叔宝善用马槊，拔贼垒则以寡敌众，可谓勇矣。知节志平国难，拜隼篽则致命辅君，可谓忠矣。而并晓世充之猜贰，识唐代之霸图，可谓见几君子矣。志玄中镝不言，竟安师旅。公谨投龟定议，志助储君。皆所谓猛将谋臣，知机识变。有唐之盛，斯实赖焉。

王夫之：无左吴、赵贤，则淮南不能谋逆；无 宇文述、 杨素，则 杨广不能夺嫡；无张公谨、 尉迟敬德，则太宗不能杀兄；天下之乱，酿成于徼幸功名者之从臾者类然也。

《 全唐文》收录有其文一篇：《条突厥可取状》

643年（贞观十七年），唐太宗将二十四位功臣的画像挂在 凌烟阁，张公谨位列第十八位。

668年（总章元年），张公谨等三十六位太原元从、西府旧臣被唐高宗评为第一等功臣。

705年（神龙元年）， 唐中宗追封前代功臣二十五家，张公谨便在名单之上，“所食实封，并依旧给”。

779年（大历十四年）， 唐代宗评定前代功臣，张公谨与 李孝恭、尉迟敬德等人同列第二等二十四人之内。

780年（建中元年），张公谨与 裴寂、 刘文静等三十四人被定为功臣上等。

长子：张大象，袭爵邹国公，官至 户部侍郎。

次子： 张大素，曾任 东台舍人，兼修国史，死于 怀州长史任上。

三子： 张大安，曾任太子 庶子、 同中书门下三品，后被贬为 普州刺史，死于 横州司马任上。

孙子：张涚，张大安之子， 唐玄宗时任 国子祭酒。

曾孙： 僧一行，俗名 张遂，著名僧人。

《 旧唐书·卷六十八·列传第十八》

《 新唐书·卷八十九·列传第十四》

《 资治通鉴·卷一百八十八·唐纪四》

《资治通鉴·卷一百八十九·唐纪五》

《资治通鉴·卷一百九十一·唐纪七》

《资治通鉴·卷一百九十三·唐纪九》

《资治通鉴·卷一百九十四·唐纪十》

古典小说《 隋唐演义》中，张公谨是幽州豪强，家住顺义村，与 单雄信有八拜之交，后为 罗艺标下左营总帅，出任 幽州刺史，与 罗成一同入唐，被秦王李世民留为秦王府 司马兼督捕司，辅助李世民发动玄武门之变。

古典小说《 说唐全传》中，张公瑾是燕山帅府 旗牌官， 贾柳楼三十九友之一，随群雄反山东，上 瓦岗寨。后随 李密降唐，封 廷尉。天下一统后，封 总兵官。随太宗东征时，在凤凰山死于 盖苏文柳叶飞刀之下。

陈荫荣的评书《 兴唐传》中，张公谨是北平王府四品旗牌长，与罗成等十四人到济南府拜寿，在贾柳楼四十六友中排名第十一，曾随罗成破 一字长蛇阵、并在铜旗阵作内应。罗艺死后，张公瑾随 罗春保护家眷投奔瓦岗，被李密封为 镇殿将军，后降唐。唐朝统一后，封邹国公，任太原总兵。

1996年《 隋唐演义》，刘全 饰 张公谨

2006年《 贞观之治》，季垚 饰 张公谨

2012年《 隋唐英雄》，路少平 饰 张公谨

2013年《 隋唐演义》，曹子辰 饰 张公谨

张公谨墓在河北魏县 边马乡。