1874年10月入陆军教导团，1877年参加 西南战争，1879年2月1日初任陆军少尉。

1882年被日军参谋本部派遣至中国，化名郑永昌，从烟台出发，用了两个月的时间。游历了 山东半岛、辽东半岛和朝鲜半岛西海岸。不仅仔细观察了各地炮台的驻防情况，所走洋面每距约一百公里，便用千斤砣试水深浅，详细收集作战所需地理水文数据，1886年回国任步兵第11联队大尉中队长，参谋本部出仕，参谋本部第二局员，步兵第1联队附，清国公使馆少佐附武官。在天津除了搞绝密情报外，还根据指令发回一些中国正积极备战的假消息，激起日本国民的战争情绪。

1894年7月12日，日本内阁以“中国在平壤集结大军，欲与日本一战”为由，向中国发出第二份绝交书。清政府被迫采取措施，16日军机处和总理衙门召开联席会议商议对策。神尾光臣在天津收买了清政府军机处一位官员。通过这个官员，他轻而易举地窃取到李鸿章拟定的作战计划，送达日本大本营。大本营向大岛旅团下令，自汉城向南开进，以逸待劳阻击清军。这场战斗的结果是清军以失败告终。甲午中日战争任第2军情报主任参谋。参与制定日军 金州半岛登陆计划及旅顺作战方案，战后晋升中佐，清国公使馆附武官。

1897年10月近卫步兵第3联队长，参谋本部出仕，第1师团参谋长，第10师团参谋长。1902年5月5日晋升陆军少将。任步兵第22旅团长。 日俄战争随 乃木希典进攻旅大，任辽东守备军参谋长，辅佐 西宽二郎大将，统辖5个后备步兵联队镇守后路，大连军政署长官，在训令就说：“目前各军在军事上需要做好的工作虽然很多，但同时效力于疏导清国官民，勤于职守和生产也是当务之急。其中首要的任务应是教育事业”。旨在从精神上消灭中国人民的民族意识、民族文化、国家观念和革命思想，使中国居民归化于日本。后任大本营附。清国驻屯军司令官，关东都督府参谋长，近卫步兵第1旅团长，1908年12月 第九师团中将师团长，3年后转任第18师团长，第一次世界大战爆发后， 1914年8月，神尾光臣被任命为“青岛攻城军”司令官，他调动了以第十八师团为主力的陆军5万人，配备了数百门重型攻城重炮、山炮、野炮在内的火炮和多架飞机，从陆地进攻青岛率领18师团在海军掩护下，攻占德国殖民地青岛，毙俘4000德军（ 日德战争）。任青岛守备军司令官，东京卫戍总督。1916年6月24日晋升陆军大将，7月14日封男爵，翌年8月6日编入预备役。

1925年4月退役，1927年2月6日去世。

曾获一级 金鵄勋章。