自幼博览群书，先后师从东台戈右衡，留日数学家崔朝庆学习数学。

在江阴南菁书院求学期间，杨冰比较系统地学习了代数、几何和微积分，并悉心研究中国古代数学名著《周髀算经》和《九章算术》，其数学成绩全校第一，被派任斋长（相当于今天的助教）。后因成绩突出，被江南商业学堂、江南师范学堂聘为数学教师。

明治37年（1904），因其学术成就， 获得金陵东文学堂（1897年由日本人创办于南京）颁发学术奖章。

光绪31年（1905），杨冰受聘到江南高等学堂(南京大学前身)任教微积分。不久，被派往日本考察学制，经赵伯先介绍，与孙中山、黄兴等革命先驱交往甚密。

杨冰先后执教于江南高等学堂、三江师范学堂、江南优级师范学堂，并被聘到济南高校（今山东大学）任教一年。任教之余，潜心研究数学，先后撰写了《三角讲义》、《球面三角法》、《原函数》、《微分应用题解》、《植树九行图》等多种专业论著，并在权威学术期刊《数学杂志》上发表《救救数学》、《微积分补代数未尽说》等论文。

杨冰认为，要使民族振兴，必先振兴教育，所以，他积极创办学堂，让更多的人接受教化。先后在扬州、泰州、东台创办学会，并在东台倡建东台县中学堂和东台县师范学堂，兼任两校名誉监督（名誉校长）。宣统3年（1911），杨冰在南京筹建南京公学并任校长。

民国2年（1913）1月18日，杨冰当选为江苏省首届议员，并计划于20日参加国会众议员决选。其时，突发疾病，经医治无效去世，死时41岁。孙中山先生特地命人为其敬献花圈，大学者黄炎培为其特撰祭文，吴稚晖为其撰写了墓表。

杨冰对近代中国数学有贡献。南京大学数学系教授周伯埙（美国俄勒冈大学博士）曾称赞其论著《植树九行图》：“系我国本世纪初有很深造谐的数学家，先生治学严谨，其学术思想与近代发展的综合数学，亦有若干暗合之处，七八十年前有此水平，诚属难得!”