1947年起，先后就读于山东医学院和浙江医学院，1953年1月毕业于浙江医学院，3月分配至扬州，从事血吸虫病防治工作。1953年12月加入共青团，1978年2月加入中国共产党。历任扬州地区卫生防疫站组长、科长、副站长，扬州市卫生防疫站副站长等职。曾先后被授予医师、主管医师、副主任医师、主任医师职称。是扬州市卫生防疫事业的开创者之一；江苏省知名的流行病学专家，先后担任过江苏省流行病学学会副主任委员、中华预防医学会江苏分会常务理事。

　　20世纪50年代积极投身于艰苦的血防工作，打起背包，吃住滩头，走村串户，查病治病，深入螺区，查螺灭螺。60年代初，吃住在高邮新民滩灭螺现场，参与新药五氯酚钠的灭螺试验。在急性肠道传染病流行期间，废寝忘食研究疫情动态；发生暴发疫情，常不分昼夜赶赴疫点，进行流行病学调查，组织指导扑灭。70年代中期卫生防疫站恢复后，他以极大的热情投入传染病防治，与同事一起，通过十年的努力，在扬州市建立和健全了儿童计划免疫等一系列规章制度和实施办法，并使之得到有效的落实，使相关传染病得到大幅度下降，传染病疫情得到有效的控制。1960年以来，他身患胃溃疡、高血压、心脏病等多种疾病，身体孱弱。在农村基层工作时，多次发生胃痛出血不能饮食、休克晕倒，乘车遭遇急刹碰伤出血，全然不顾，为了防疫事业、人民的健康仍冒着严寒酷暑，甚至在家人患病卧床的情况下，坚持在防病第一线。他每年有一半的时间在农村基层度过，全市（含现泰州市）的三百多个乡（镇）都留有他的足迹。

　　刘山辉一生忠于祖国的预防医学事业，十分关注预防医学科研和教育，积极倡导人才培养，开展职工教育。毫无保留地传授专业知识，辅导业务技术，为卫生防疫战线培养了一批人才。1955年，在中华卫生杂志上发表了“土埋消灭钉螺效果观察”的论文；1989年参加了江苏省卫生厅防疫局“伤寒副伤寒防治手册”的编写；参与省、市“霍乱、伤寒、肝炎等防治措施”的制订，为控制多种传染病流行作出了突出的贡献。由于他无私的奉献，出色的工作，卓著的成绩，1980年被评选为江苏省先进工作者；1981年被评选为江苏省劳动模范；1982年被评选为江苏省优秀卫生工作者。

　　20世纪80年代末，由于伤寒菌株变异等原因，扬州市里下河地区一度发生伤寒大面积流行，为尽快控制疫情，保障人民健康，刘山辉不顾多病的身躯，始终战斗在防疫工作第一线，凭借他丰富的经验和实践，制订了一整套切实可行的控制措施，为指导基层扑灭疫情起到了积极的作用。在全市疫情基本得到控制后，对防治措施适时进行评价，为今后的防治工作积累经验。他以科学的态度，谦虚的作风，参与组织了“扬州市伤寒防治工作论证活动”，与上海、南京等地的多名专家、教授及省、市领导一道，于1991年6月8日冒着高温和大雨深入兴化、高邮、江都等地实地考察，进行科学的论证，受到了与会学者的好评。在6月14日“论证会”结束的当晚，又冒雨、涉水赶回扬州。当夜不幸因突发脑溢血与世长辞，享年62岁。