绍兴十一年（1141年）十月，“莫须有”冤案起，万俟卨严刑逼供，“飞久不伏，因不食求死，命其子雷视之。雷入侍奉看，飞始复进食，岳飞被难后，16岁的岳雷随同母亲李氏夫人被发配流放云南。

岳雷妻赵氏，生四子二女，绍兴三十一年（1161年），孝宗皇帝为岳飞平反的前一年，岳雷全家从云南回来时，长女岳二娘，22岁，长子岳经20岁，二子岳纬，19岁，二女岳三娘，十六岁，三子岳纲，13岁，四子岳纪，11岁，1162年4月初三到潭州（今长沙市_北裹厢居住。同年，7月13日，冤案昭雪后，岳雷封忠训郎，阁门祗侯，又蹭武略郎，翰林院大学士。景定二年（1261年）追封绍忠侯。岳雷晚年居丹阳培棠，归岳琛（岳霖子）就养。卒于嘉定三年（1210年）8月22日，寿年78岁，葬丹阳城东四十里鹤迹寺岳雷坟。岳雷妻赵氏，封辅德夫人。

《说岳全传》小说中的岳雷无疑被神化了，在小说里他带领宋朝将士横扫金朝，逼得击败北宋的大金国送回天使归还土地求和，完成了其父未竟之志，但是，在残酷的现实面前，这注定是古代人民渴望统一的一种美好幻想。