1997年，在一次村小学运动会上，吕小军参加田径短跑比赛拿了第一名，不久被潜江市体校看中。

1998年，吕小军开始在湖北省潜江市体校开始举重训练， 教练是举重班教练邓明虎。2002年 ，进入天津市举重队 ；2003年首次进入国家举重队 ，练习69公斤级。

2004年5月份，年仅19岁的吕小军在白俄罗斯首都明斯克举行的世界青年举重锦标赛一举夺冠。不过之后一年，由于伤病、状态不佳，再加上中国男举69公斤级人才济济，吕小军一直无缘成年世界大赛。

2005年，吕小军开始升级到77公斤级，后再次进入国家队，并师从奥运冠军廖辉的教练于杰。

2009年11月24日，在韩国高阳举行的第77届世界举重锦标赛男子77公斤级比赛中，吕小军以174公斤打破抓举世界纪录获得冠军，在抓举比赛中以174公斤的成绩打破了哈萨克斯坦选手费里莫诺夫创造的173公斤世界纪录，获得了抓举金牌；在挺举比赛，吕小军以204公斤成绩打破世界纪录，同时以378公斤打破总成绩世界纪录。

2010年，5月，《世界举重》杂志日前公布了2009年度世界最佳男女举重选手的评选结果，中国力士吕小军当选最佳举重男选手；9月，在土耳其进行的举重世锦赛中获得挺举冠军、抓举亚军和总成绩亚军。

2011年4月15日，在安徽铜陵举行的举重亚锦赛男子77公斤级比赛中，吕小军包揽了抓举、挺举和总成绩三枚金牌；11月，在巴黎世界举重锦标赛77公斤级中，以抓举170公斤获得抓举冠军、205公斤获得挺举亚军，同时以375公斤获得总成绩冠军。

2012年，在全国男子举重锦标赛77公斤级比赛总获得抓举亚军、挺举冠军及总成绩亚军；8月2日，在伦敦奥运会举重男子77公斤级比赛中，吕小军以175公斤的成绩打破了抓举世界纪录，同时以379公斤的总成绩打破世界纪录夺得冠军。

2013年在波兰弗罗茨瓦夫世界举重锦标赛男子77公斤级中，吕小军在抓举、挺举、总成绩三项中均获金牌；同年在亚洲举重锦标赛男子77公斤级比赛中，以抓举160公斤，挺举192公斤，总成绩352公斤获得三项冠军。

2014年9月23日，在仁川亚运会举重男子77公斤级比赛中以375公斤总成绩获得冠军，其中抓举200公斤打破亚运会纪录。

2015年4月，在浙江进行的全国举重锦标赛暨世界锦标赛选拔赛中，吕小军因体重略重于相同成绩的选手而获得77公斤级抓举、挺举和总成绩3枚银牌三枚银牌。

2015年举重世锦赛在美国休斯敦进行，男子77公斤级，中国选手吕小军以175公斤拿到抓举金牌，挺举三次试举失败没有成绩。

2016年4月17日，2016年全国男子举重锦标赛暨里约奥运会选拔赛在江山展开男子77公斤级比赛角逐，吕小军以抓举174公斤、挺举207公斤以及总成绩381公斤囊括三项冠军。

2016年8月11日，里约奥运会举重男子77KG级决赛，最终拿到抓举破世界纪录的177KG、挺举202KG，总成绩379KG的成绩，由于体重比举起同重量的哈萨克斯坦重，获得亚军。

2017年9月3日，在天津市滨海新区大港体育馆进行的第十三届全运会举重比赛结束了男子77公斤级争夺。三届世锦赛和伦敦奥运会冠军、天津选手吕小军，以366公斤（抓举170公斤、挺举196公斤）获得冠军，个人首次获得全运会冠军。

2013年12月1日，吕小军与同为举重运动员，相恋十年的女友郭喜艳结婚。国际举联秘书长、中国举重协会主席马文广，举摔柔中心主任周进强，天津市体育局局长李克敏等出席婚礼。

2014年，吕小军夫妇喜获一女。

吕小军天生力量就大。（教练吴琦望评）

吕小军的举重生涯坎坷曲折，但吕小军有着不俗的实力和潜质，力量大，腿力、腰力都好。（网易网评）2009年到2013年，吕小军在奥运会、世锦赛两大赛先后9次夺冠，6次打破世界纪录，大器晚成的吕小军已经成为中国举重史上划时代的人物。（新浪网评）