他十一岁开始写诗，十五岁加入共青团。在父母的熏陶下，他自小喜欢阅读。1954年任《我们的话》和共产主义刊物《时刻》的编辑，兼中国新华社记者。1956年，他的处女作《小提琴及其它问题》一出版就受到了评论界的赞扬。为了实现自己的人生理想，他参加过共产党、贝隆主义革命党、城市游击队等组织，后来便是流亡、两次被判死刑、平反，直至在儿子、儿媳被害多年之后，与孙女团聚。

在几十年艰难坎坷、不屈不挠的人生历程中，他一直坚持是个创作。继《小提琴及其它问题》之后，他先后发表了《我们的游戏》（1959）、《戈探》（1962）、《霍乱牛》（1965）、《关系》（1973）、《向南方》（1982）、《在下》（1985）、《致母亲的信》（1989）、《曾是与将是的国家》（2004）、《漫游》（2007）等近40部诗集。

赫尔曼与中国有着不解之缘。1959年到1964年，他曾任我国新华社记者，为西语世界报道中国的情况，并受周恩来总理的邀请两次来华，还曾经“重走长征路”。

2014年1月14日，阿根廷著名诗人胡安·赫尔曼在他居住了25年的位于墨西哥城的家中因病去世，享年83岁。