少时入私塾攻读，塾师赞其敏慧过人。

小学、中学各科成绩优异。

尤其酷爱文艺、美术、书法，每于课余假日，学画、学书兴趣日浓，基础渐固。

1924年考入当时由张聿光、潘天寿等发起并创办的上海新华艺术专科学校，专攻山水画，其作品闻名遐迩，人称“段山水”。后任上海新华艺术专科学校校长，与黄宾虹共事。

1928年春季任县立大西街小学校长，下期受聘于四川美专担任国画教师。

继与冯建吴等集资创办成都“东方美术专科学校”，任首届校长，兼授山水画。其后又担任过中学美术、国文教师和教导主任。

抗日战争时期，他曾参加战地服务团，与诗人臧克家等文化名人一起，搞救亡宣传工作。

因患胃病，1944年从战地归来，就任蓬溪县民众教育馆馆长。

1946年，任蓬溪县政府教育科科长，次年加入中国民主同盟。

建国初，任蓬溪城厢镇镇长，继担任蓬溪中学教导主任兼美术教师。

1956年，虚谷被选拔到西南师范学院美术系任国画研究室主任，教山水画、书法和《四川美术史》等课，他精心育人，作出了显著成绩，多次评为先进教育工作者。

除擅长山水画外，对祖国传统艺术、诗文、书法、金石等造诣亦深。

他根据多年教学和创作的实践经验，画成整套山水画范本；编写《山水画技法讲义》和《四川美术史讲义》，作为西南师范学院美术系教材。

段虚谷先生对中国文人画颇有研究，其作品融诗情画意于笔墨之中。

1960年，他的《青城烟雨》被著名的美术评论家王朝闻赞为“意境清幽之作”。

其作品“平正典雅、清癯劲健，淡泊萧疏，意境高远。”

虚谷先生晚年在西南师范学院遭受“文革“的冲击，1977年因病去逝，终年73岁。

      他以嘉陵江、缙云山及川北家乡景色为题材创作的山水画，如《山穷水尽疑无路，柳暗花明又一村》、均被画界称道。

特别是他的题画诗，落《野火烧不尽，春风吹又生》、《四川天堑》、《缙云绝顶》、《北泉飞瀑》等款格式，既与书法艺术巧妙结合，更不脱古朴风韵，堪称三绝。