1881年，李鸿章调林履中到北洋水师，任"威远"练船教练大副。次年夏，赴德国协驾“定远”等铁甲舰，并资练习。林履中到德国后，参加验收新购铁甲舰的鱼雷、炮位器械等，颇为尽力。随后，又派往英国研究驾驶、枪炮、数学、电学等。1884年，由英国返回德国，沿途林履中注意留意考察了英、德两国军港的风潮沙线，阅历大增。返抵德国，仍回"定远"舰。1885年，林履中从刘步蟾协带“定远”回国后，派充大副，奏奖蓝翎千总。是年冬，升调副管驾。1887年，又调任“扬威”快船管带，荐保花翎守备。1888年，北洋水师正式成军，林履中继续管带“扬威”。1889年，海军衙门成立，设右翼右营参将，由履中升任。1891年，李鸿章到威海巡阅水师，奖励创办海军的有功人员，林履中以功实授右翼后营参将，加副将衔。

林履中为人认真不苟，虽然平时“深沉少语”，但“性情和易”，“蔼然可亲”。尤为难得的是，他生活作风上“勤慎俭朴，能与士卒同艰苦”。因此，士兵视之如父兄，战时无不拼死效命。

1894年7月25日中日开战，9月17日中日海军主力在黄海遭遇，展开激战。“扬威”是北洋水师中舰龄较老，作战和防卫能力较弱的老舰，又处于右翼阵脚最外侧。由于北洋水师阵列跨度较大，“定远”、“镇远”的炮火不能支援到两侧阵脚的战舰，于是“扬威”、“超勇”便遭到日本游击队"吉野"等四舰的猛攻。“超勇”、“扬威”先后中弹起火，正在此时，“济远”舰竟然转舵逃跑，“撞扬威舵叶，扬威行愈滞，敌弹入机舱”，舱内弹炸火起，“渐不能支”。在此危急时刻，林履中亲率千总三副曾宗巩等发炮攻敌不止。但“扬威”首尾各炮已不能转动，而敌炮纷至，舰身渐沉于海。林履中登台一望，奋然蹈海，都司帮带大副郑文超和守备二副郑景清同时落水。当时，“左一”鱼雷艇驶至，投长绳相援，林履中推而不就，随波而没，时年43岁。时人赞他“见危授命，激烈效忠，其所谓临大节而不可夺者”。清廷得知其事后，下旨按总兵例议恤，并世袭骑都尉世职。

林履中有三子，长子林继勋，任海军军需官，次子林继祥，三子林继善。