闵可夫斯基1864年出生于俄国的亚力克索塔斯（Alexotas，今立陶宛的考纳斯)，是三兄弟中最小的。父亲是一个成功的犹太商人。由于当时俄国政府迫害犹太人，所以1872年，父亲带全家搬到普鲁士的哥尼斯堡（今俄罗斯的飞地加里宁格勒）定居，与后来成为著名数学家的希尔伯特家仅一河之隔。闵可夫斯基的大哥继承父业成为优秀的商人。二哥就是发现胰岛素和糖尿病有关的著名医学家、被称为“胰岛素之父”的奥斯卡·闵可夫斯基（Oscar Minkowski）。后来赫尔曼·闵可夫斯基的侄子鲁道夫·闵可夫斯基成为美国著名的天文学家。

1873年闵可夫斯基进入艾尔斯塔特预科学校读书，只用了五年半时间就完成了八年的学业。毕业后闵可夫斯基先进入当地的大学，而后转入柏林大学，不久之后又回到哥尼斯堡大学。大学期间他曾师从亥姆霍茨、克罗内克尔、外尔斯特拉斯、克希荷夫等数学家。在哥尼斯堡大学，闵可夫斯基和希尔伯特重新相遇，结为挚友。

1882年，年仅18岁的闵可夫斯基与英国著名数学家亨利·史密斯（Henry Smith）共同获得由法国科学院悬赏的一个奖项，轰动一时。1885年闵可夫斯基在哥尼斯堡大学获得博士学位。经过短暂的服兵役，1886年成为波恩大学的讲师。1891年闵可夫斯基升为副教授，1894年回到哥尼斯堡大学任教。1895年接替希尔伯特担任哥尼斯堡大学教授。转年，闵可夫斯基转到瑞士苏黎世的联邦工业大学工作。这期间，青年时期的爱因斯坦在联邦工业大学求学，成为闵可夫斯基的学生。

1897年闵可夫斯基与哥尼斯堡附近一位皮革厂厂长的女儿Auguste Adler结婚，婚后育有两个女儿。1902年，闵可夫斯基受克莱因的邀请，转入哥廷根大学担任数学教授。1908年在德国科隆的一次演讲中，闵可夫斯基提出了四维时空的概念。1909年1月10日，闵可夫斯基突患急性阑尾炎，抢救无效，于1月12日去世，去世时年仅45岁。

闵可夫斯基去世后，生前的好友希尔伯特整理了他的遗作，于1911年出版了《闵可夫斯基全集》（Gesammelte Abhandlungen von Hermann Minkowski）。

闵可夫斯基工作的主要领域在数论、代数和数学物理方面。在数论领域，他对二次型进行了重要的研究。在1881年法国科学院悬赏的大奖中，闵可夫斯基钻研了高斯、狄利克雷等人的论著，深入研究了n元二次型，建立了完整的理论体系。此后，闵可夫斯基继续研究，于1905年建立了实系数正定二次型的约化理论，被称为“闵可夫斯基约化理论”。

在数学物理方面，闵可夫斯基在波恩大学任职时，曾协助著名物理学家赫兹研究电磁波的理论。1905年以后，闵可夫斯基将几乎所有精力放在电动力学上。1907年，闵可夫斯基认识到可以用非欧空间来描述洛仑兹和爱因斯坦的工作，将过去被认为是独立的时间和空间结合到一个四维的时空结构中，即闵可夫斯基时空。闵可夫斯基时空为广义相对论的建立提供了框架。

为纪念这位数学家，第12493号小行星以他的名字“闵可夫斯基”命名。