茨城县人。柴山定次郎的三子。1912年5月 日本陆军士官学校24期毕业，辎重兵少尉任官，1922年11月陆军大学毕业34期毕业。1923年6月成为辎重兵第14大队中队长， 参谋本部支那研究员。1928年，任 张学良的顾问助理，专事侵略东北的活动。1931年11月回到 参谋本部，历任支那公使馆中佐武官驻北平， 冯玉祥组织 抗日同盟军收复 多伦的时候， 柴山兼四郎首先向 冯玉祥发出抗议。老冯自然是没理他。柴山见没有效果，就直接去找坐镇北平的军政部长 何应钦，说中国军队出兵多伦的举动，明显违反了 塘沽协定中有关中日双方停战的精神。可塘沽协定说的是中日两国，同盟军打的是满蒙伪军，跟小日本有什么关系？怎么没有关系，柴山振振有词，打狗还要看主人，伪军就是我们家的狗，那是你们想打就打的吗。何应钦分辩说，同盟军的成立并未得到过北平军分会的允许，因此他们在察北的军事行动，我们也很难管得了。柴山一听十分恼火，当即抛下一句硬邦邦的话，说如果你们真的管不了，我们 关东军可以过来帮你们一道管。这话让何应钦出了一身冷汗。——人家 武藤信义在签完协定后可是发过声明，说如果中国确实遵守这个协定，关东军马上撤回长城线，否则的话，那是要“断然膺惩”的。此时，无论是为了“政令统一”，还是实施“中央防边计划”，蒋介石和何应钦都不能够容许 抗日同盟军再继续存在下去。因为绞杀抗日同盟军这个功绩，他再次进入 参谋本部，保送欧美留学，踏上了上升的快速通道。历任辎重兵第18大队长等，1936年3月晋升辎重兵大佐， 陆军省军务课长。这对于辎重兵出身的简直是一个特列，日本人不重视辎重兵是出名的，有句话说辎重兵都算兵的话，那蜻蜓都能算老鹰。 七七事变的时候，他虽然是陆军次官 梅津美治郎的亲信，但却是不扩大派的。当他去向支那屯驻军司令 香月清司传达不扩大的方针时，被香月以军令和军政矛盾而拒绝。1938年2月，由于天津特务机关长 仪我诚也病故，他转任天津特务机关长、主要执行对 吴佩孚工作。39年4月晋升少将，9月出任汉口特务机关长、他的竹机关和上海 影佐祯昭的梅机关， 和知鹰二的兰机关，设在福建的菊机关并称。执行11军司令 冈村宁次分化瓦解中国军队的政策，重点对中国第五战区的 川军分化，但没有多大效果。1940年9月回国，历任辎重兵监部副，陆军辎重兵学校校长等，1941年10月升任陆军中将辎重兵监。1942年4月成为驻 大同的第26师团长。1943年4月任 汪精卫政权最高军事顾问，他手下的 宪兵队长冈村少佐毒死了不听话的76号特工头子 李士群。1944年8月任陆军次官，执行 小矶国昭所谓对等的对华和平活动，9月中旬亲自飞抵南京，向汪伪政府要员 陈公博、 周佛海等传达日本政府的决策。柴山表示：“日政府虽明知形势不利，时机不顺，不易成功，但仍盼积极进行全面和平合作”，但此次“谋和”由汪伪政府出面进行，“且不可使外间知系日方所发动”；日方实行“全面和平”的条件是：1.纯以平等立场讲和；2.如美国撤退在渝空军，日即全部撤兵；3.渝与英美之关系，尊重渝方意见决定；4.关于保证问题，俟确知渝方意见后决定；5.关于宁渝汪蒋问题，乃中国内政问题，由双方商办等。为了保证“谋和”的顺利进行，柴山还特别说明该项工作“由首相和外相联系，一切要南京政府采取措施，不让当地军方干预”。但全无结果。1945年5月，兼 大本营兵站总监。战败后被指控为战犯，判处7年徒刑。1951年获假释，1953年任军人恩给全国联合会会长。