杰伊出生于纽约的一个富有家庭，他在国王学院（后来的哥伦比亚大学的前身）就读后与 罗伯特·利文斯顿一起在纽约作律师。

　　杰伊在纽约建立了自己的声名，因此被选为第一次和第二次 大陆会议的议员。这两次会议的内容是讨论美洲殖民地是否应该从英国独立。从1778年12月10日到1779年9月27日他被选为大陆会议的第五任主席。此后他成为美国革命最重要的外交官之一出使西班牙，他还调停了西班牙与法国之间的和平。

　　1784年杰伊被委任为外交国务秘书，即后来的国务卿。

　　但是《联邦章程》所规定的联邦政府实际上无法工作。杰伊、汉密尔顿和麦迪逊称为章程的批评人。杰伊认为章程中规定的政府太软弱，无法有效地实行政府工作。他考虑道：

　　联邦章程规定国会有权宣战，但却无权征募士兵或金钱来维持作战的需要；它有权议和，但却无权控制和平条约的满足；它有权结盟，却无权完成联盟的义务；它有权签署贸易条约，却无权在国内外遵守条约。一句话，它可以顾问、劝告、要求和请求。谁愿意可以去理会它。

　　杰伊本人没有参加费城会议，但他与汉密尔顿和麦迪逊一起主张建立一个新的、更有权的、中央的、但依然平衡的政府。他们一起写了《联邦党人文集》，这个文集中共有85篇说服公民接受美国宪法的文章。杰伊写了其中五篇。

　　1789年乔治·华盛顿委任杰伊为最高法院首席法官。杰伊和其他法官决定州政府必须服从联邦政府。对这个决定不满的人后来在美国宪法第11次修改案中达到了个人无法向最高法院起诉控告一个州。

　　1794年杰伊作为特使前往英国来商议避免战争的新条约。这个条约后来被称为杰伊条约。杰伊本人和美国政府都认为这是当时能够达成的最好的条约了。华盛顿和国会（持保留态度并要求修改后）签署了这个条约，虽然如此许多人反对这个条约，使得杰伊也非常不受欢迎。杰伊有一次说他可以藉着焚烧他的肖像的光从波士顿去费城。这个条约显然也使杰伊被选为美国总统的可能性消失了。

　　杰伊还在英国时就被选为纽约州的州长。他退出最高法院，之后一直到1800年为止，担任州长。此后约翰·亚当斯总统再次提名他为法官，国会也很快就批准了这个提名，但杰伊以自己的健康不良和“法庭缺乏它支持国家政府所需要的能量、重要性和威严”为由拒绝了。

　　虽然杰伊赢得了1802年的州长选举，他还是辞职了。他退出政界回到他在纽约州威切斯特郡的庄园上。今天他的故居和部分他的庄园是一个博物馆。

　　1829年5月15日杰伊逝世于他的庄园上，他被葬在他儿子的庄园上，这里今天也是一个博物馆。

　　纽约州有一个小城、印第安纳州有一个郡以杰伊命名。纽约城大学的一个法学院也以杰伊命名。