兵库县出身，旧筱山藩士矶谷次郎的三男。私立庹平初中凤鸣义私塾，大阪陆军地方幼年学校，中央幼年学校。1904年毕业于日本陆军士官学校第16期，跟坂垣征四郎，土肥原贤二为同期同学。1915年陆军大学毕业。1916年任职于参谋本部，1917年被派遣到中国，1920年驻在广州。1924年升任中佐，步兵第13联队大队长，1928年5月第六师团副、第3师司令部付(青岛机关长)，同年8月，步兵大佐第7联队长。1930年(昭和5年)3月，第1师参谋长就任，教育总监部第2科长，人事局候补课长。1933年晋升为少将，任参谋本部第二部长。自认是日军中的「支那通」。他的岳父就是日本第一代中国通，对华谍报鼻祖青木宣纯。1935年任中国公使馆副武官、中国大使馆副武官。

矶谷一生都专注于长江以南的政治、军事，即关注孙中山和其系统的动向。在陆军中国通中分为北支派和南支派，北支派主要重视以北京为中心的北支、满洲，而南支派是关注国民党和中国共产党的人，主要注意蒋介石的动向。因此两者存在很大的不同，而且在这对以后日本陆军制定对华政策产生了很大的影响。在陆军领导层分为欧洲大陆派、英美派、俄国派、中国派四派，相互之间充满着矛盾和争斗。这也是导致日本对华政策不断发生变化的原因之一。“称为中国通的军人也必须分开来看，不能一概而论。作为军人，详细调查、分析中国的国政、国防、军事力量、民情，报告给上司参谋本部，以备战争，具有这样共同的任务。但对中国的关心的方法、理解的方法却有很大的不同。” 日本自明治维新以后，随着富国强兵政策的实施，也开始了其大陆经营。其首要目标就是朝鲜和中国。为此，日本陆军部早在1870年代就不断派遣陆军人员到中国，侦查中国的国情和搜集中国的情报，1874年出兵台湾后经过日中谈判，临时派遣被中止，开始设置驻清国公使馆武官。而矶谷也是在这样的环境下开始对中国感兴趣的，在陆军士官学校毕业之际，他说：“我学校的成绩都可以，总之希望去支那，不想进陆大。”

尽管佐佐木到一在其所著的《一个军人的自传》中，孙中山自称大元帅，而广东人却称他为“孙大炮”，但矶谷却不如此认为。他对孙中山持有全部敬爱之心，视孙中山为老师。1908年由于军部的命令，矶谷廉介首次在上海访问孙中山。矶谷按照和冈村宁次的约定，开始走向支那通之路，但他比冈村提前一步在中国接触到孙中山。和孙中山会见后，对中国更加关心的矶谷在1911年辛亥革命爆发后，决定在孙中山手下工作。由于矶谷对孙中山怀有敬意，认为孙中山是为中国国民献身，而蒋介石是为自身和宋家的利益接近英美，共同采取抗日、排满政策。这造成“矶谷一生都没有从心里信赖蒋介石”。“在中国军阀和有力者中，与自己国民的将来相比，将自己、自已的一族或支持自己的人的利益放在第一位的人多。很多军人没有充分理解那样的风气。”

1935年11月8日，在国民政府发布币制改革公告四天后，驻中国大使馆武官矶谷发表如下关于币制改革的武官声明。作为派出军部，断然反对国民政府此次的币制改革。这是因为币制改革实际上只能给支那四亿民众带来毁灭。

对于矶谷武官的强硬声明，日本陆军中央部也认为：“白银国有令必然归于失败，白银国有给中国民众带来不幸，特别是依赖英国的援助乃卖国”，非正式地表示赞同。矶谷之所以反对币制改革，是因为他认为币制改革是英美两国打入中日两国之间的一个锲子，国民党政府实施币制改革可能会得到英美两国的大力支持，这样必然会扩大英美对中国的影响力，削弱日本对中国的影响。正是从这个层面上，矶谷反对币制改革。正如半年后他又承认币制改革取得很大成效一样，说明他此时并不是反对币制改革本身，而是反对在英美的帮助下所进行的改革。说到底，这是反对英美扩大在中国的影响力，避免给日本的侵略活动带来困难。

1936年矶谷廉介回国之际，表达了他对关东军的对支政策和蒋介石的看法。他认为：“日本的对支政策没有看到辛亥革命以来中国新的前进方向、民族自然发展的进步，沿袭对古代支那、军阀割据时代的支那认识，正面否认蒋介石所代表的统一国家的进展，依旧从事分治工作。”“由于陆军内部的大部分支那通对支那认识的先入观念很强，看不到中国正在前进的大势，最终迫使蒋陷入不得不亲苏容共的困境。”当时，陆军中的中国通认为蒋没有统一中国的力量，由于中国是相当广阔且异质的国家，分治工作自然行得通，至少有必要在北支使其分离成立亲日满政权。这种可能的错误的对中国的形势是陆军普通的想法。

尽管矶谷警告不要用武力推动对中国的政策，但是，陆军中央部的大部分人和政府、财界等人的中国政策、中国观没有按照矶谷所说的那样改正。1935年12月，也没有从关东军向中央提出的意见书《关于北支问题》的位置上后退一步。1936年中国发生震惊中外的“西安事变”，蒋介石遭到软禁。对此，矶谷也非常关注，但对蒋介石却给与嘲笑。这“不是没有认识到西安事变事态的重要性，即便讨厌蒋介石，对蒋介石的性格行动、政治性进行充分研究的矶谷为其祝福掩藏着很深的意义。”

1938年6月矶谷廉介被任命为关东军参谋长，成为陆军中具有重要影响力的人物。由于和孙文、廖仲恺、汪精卫、许崇智、王克敏以及蒋介石等中国人有很深的交往，矶谷的中国观在日本军人当中显得比较特别。他认为日本不应该侵略中国，即使暂时不得已侵略，也要尽快以和平为要。而副参谋长石原莞尔却与此相反。石原认为中国终究不能够统一，而且满洲也纯然不是中国的领土，乃满族之地。这种认识不仅是石原，也是日本陆军、政府和财界等多数人的共同认识。

1936年(昭和11年)3月23日就任军务局长，全力平息二·二六事件带来的影响。同年12月晋升为中将。1937年3月，被任命为第十师团长。77事变后出征华北，38年跟中国第五战区司令长官李宗仁指挥的国民革命军在台儿庄会战，一度受挫。同年6月，接替东条英机成为日本关东军参谋长。

1939年5月，伪满洲国军队跟蒙古军队在诺门坎发生小规模边境冲突，后演化成为日本关东军与苏联红军的正面对决。朱可夫指挥6个旅70,000名苏联远东军，以机械化部队击败两个师团约4万名日本关东军。18,000名日军战死或受伤。日本全国震动，平沼骐一郎内阁请辞。关东军司令官植田谦吉及参谋长矶谷廉介被撤职，矶谷廉介转预备役。

1941年12月 日军偷袭珍珠港后向英，美宣战。酒井隆指挥日军进攻英国殖民地香港。经过18日的战斗，香港总督杨慕琦在12月25日向日军投降。外务大臣东乡茂德看重他的才能，劝首相东条英机再度起用矶谷廉介，被任命为香港占领地总督，于1942年2月20日正式上任。1944年12月24日，矶谷廉介调任台湾行政司长，香港占领地总督一职改由田中久一接任。矶谷廉介占领香港期间，日军从香港夺取各样物资，包括强迫市民换取无保证的日本军票。又实行日化教育，禁止使用英语，把香港街道及地名改为日本名；推行疏散政策，迫使香港居民迁回内地。到1945年日本投降时，香港的居民人数降至70万，只及战前的一半。

1946年，国民政府在南京军事法庭判以战争罪审判矶谷廉介。1947年矶谷廉介被判无期徒刑，1949年从2月开始在被关在巢鸭监狱，1952年8月被假释，1967年死在日本。