汉武帝元朔三年（乙卯，公元前一二六年），匈奴军臣单于死，其弟左谷蠡王伊稚斜自立为单于，攻破军臣单于太子于单，于单亡降汉，但此时的匈奴已经今非昔比，而中原的汉朝也进入了最鼎盛的时期。

汉武帝先后派遣卫青、霍去病等在中国历史上显赫一时的将军对匈奴进行了进攻。 在王庭之战中，匈奴主力被卫青率领的汉朝大军击溃，匈奴向北处逃走，迁至荒芜的漠北草原。

经过这次失败，匈奴势力从此退出河套及其以西一带。史称“是后匈奴远遁，而幕（漠）南无王庭”。

匈奴人由于远离水草茂盛的阴山地区，畜牧业生产发展从此受到严重限制。而汉王朝利用夺得的“匈奴左地”，令原为其附属的乌桓族（原住于辽河流域及老哈河一带）徒居上谷、渔阳、右北平、辽东、辽西五郡塞外，为汉侦匈奴动静；又派张骞出使西域，联络月氏、大宛，以公主妻乌孙昆莫（王），拆散匈奴与乌孙的联盟；复于浑邪王故地置酒泉、武威、张掖、敦煌四郡，切断其与羌族的交通。于是匈奴势力日削。

公元前114年（汉元鼎三年），伊稚斜单于死。子乌维单于（前114—前105）、孙乌师庐单于（儿单于）（前105—前102）相继立。

2004年电视剧《汉武大帝》，演员高发饰演伊稚斜。

2017年电视剧《大漠骠骑-霍去病》，演员钟雷饰演伊稚斜。