1898年毕业于 海军 学校第26期（入校时成绩62名中第4位、毕业成绩59名中第3位），富士号，初濑号，金刚号乘务组， 日俄战争中，以中尉身份坐上按惯例只能由大尉担任的浪速号炮术长，历任第2舰队 参谋，第3舰队参谋，以后，在1年之间，历任了第四舰队南清舰队参谋。1911年海军大学甲种第6期优等毕业。历任「严岛」，「石见」炮术长。并且兼任军务局和教育本部的成员，在海军省里工作担任 山本权兵卫海军大臣先任秘书，在海军省的固定了地位。1911年(明治44年)7月英国，接着在1913年(大正2年)时被派遣到美国。小林，历任教育本部军舰政治本部的成员走军政官的道。破格以中佐担任以前只能是大佐担任的平户号舰长，这是他唯一的舰长经验。2年后成为海军省副官，2年半后作为英国大使馆附武官被派遣到英国在职2年。在这期间，小林得到英国航空的权威威廉福布斯-塞皮尔赏识。为了海军航空兵的飞跃的，日本邀请了威廉福布斯-塞皮尔对霞浦海军航空队进行了2年教育。这个在所谓「威廉福布斯-塞皮尔教育团」，带入了的英国制飞机理念，肃清了以前的法国式航空的影响。

回国后经过第3支队司令官，在 财部彪和 村上格一海军大臣下担任军务局长。这个时候小林倾斜向遵守裁军条约，以后，被看做对英美协调派的重要人物。在1926年(大正15年)时晋升给中将。和海兵同期次席的 野村吉三郎一起被称将来的海军大臣候选人，被寄予厚望。

在在1927年(昭和2年)时日内瓦海军裁军会议中，作为辅助斋藤实的首席随员出席。会议因为和美英的想法不同而流产，不过，在日本代表团中的条约派的小林和以会议决裂作为目标的舰队派原敢二郎次席随员之间不谐和音总爆发。条约会议决裂回国后，又被卷进条约派和舰队派的对立中。 伦敦海军条约签订后，补助军舰保有限制框框也被设定了。与 华盛顿海军条约届满一起建造将新战列舰的计划也被废弃了。　统帅权干犯问题的 山梨胜之进海军次官被更迭了，小林成为后任的次官辅助财部彪海军大臣,不过，财部10月因身体问题隐退。小林联合条约派的 安保清种大臣继续抵抗了一年半。不过，最后舰队派的 大角岑生就任海军大臣，裁军条约被彻底破坏。

1931年(昭和6年)12月1日被任命为联合舰队司令长官，但是小林的海上经验远远不如第二舰队的 末次信正中将。在图上演习中被打的惨败。在晋升大将的同时被解除职务就任军事参议官。

二·二六事件后，小林的命运很大地变化了。这个政变让多数陆军大将被免职，为了保持陆海军军的平衡，3名海军大将也被编入预备役。变成了牺牲的是 山本英辅、 中村良三和小林。 米内光政作为海军的异端崭露头角。

1936年3月转为预备役大将，同年在海军的积极运作下，于9月2日调任任命为第17任台湾总督。台湾总督在昭和以前很长一段都是文官，小林的就任被认为是异例中的异例。他上任就以皇民化、 工业化、南进基地化”三原则统治台湾。任内大事：1936年11月设官民合营的台湾拓殖株式会社，主要在开发未垦土地，移民 日本人至台湾，协助日人在南支、 南洋的拓殖事业，发展工业，并对 厦门、 海南岛等日本占领地于行政方面积极配合；强力推动 皇民化运动，强制废止台湾报纸的汉文栏；奖励台湾人改 日本姓名；禁止歌仔戏、布袋戏；废止台湾阴历年习俗，但 台湾人照过，日本人乃订阴历初一起五日内为劳动服务周，积极去 台湾文化；强制参拜 神社；实施管制米谷输出；关闭中央研究所；设热带医学研究所；建农业试验场； 新高港筑港开工；建基隆港船坞；设立国家公园（ 大屯、次高太鲁阁、新高阿里山）。1940年11月辞职，后任为现役大将 长谷川清。

1940年(昭和15年)11月辞职以后在军队不有有关过着,不过，战争时期，也有真崎非常被三郎，吉田茂们一般认为是靠近的存在，在被东条总理的小组敌视，宪兵徘徊中小林的总理候选被考虑了的事。1944年被敕选为贵族院议员，翼赞政治会总裁。12月出任 小矶国昭内阁的国务大臣（次年3月辞职）。1945年12月2日日本战败后被指为战犯嫌疑，入 巢鸭监狱，但同年12月12日便获释了。1946年辞去贵族院议员的职务。坊间有《小林跻造传》及《海军大将小林跻造觉书》等