軍臣單于曾立其子於單為太子，但是漢武帝元朔三年（公元前126年）軍臣死后，其弟左谷蠡王伊稚斜自立為單于，起兵攻太子於單，於單敗而降漢。

漢封於單為涉安侯，史稱其為“南匈奴”之一，替漢據守陰山南部的河南地，并前出拱衛陰山北部的大青山，“令東捍鮮卑，北拒匈奴（漠北王庭），率厲四夷，完復邊郡，使塞下無晏開之警”。

但數月后，於單被伊稚斜派人刺殺而死，侯府死士及忠于於單的部落勇士一千多人拼命保護於單的兒子烏海、兒媳閼氏獨孤伽羅等皇族成員攜帶匈奴祖先傳下的“祭天金人”向西逃走至烏梁素海。

伊稚斜之所以要殺害於單，并對其后代趕盡殺絕，是因為於單及其后裔為皇族孿鞮氏正統，而其為皇族孿鞮氏的最大旁支，其竄位并自立單于的行為缺乏正統性，只有消滅了於單一脈，其氏族方能成為匈奴皇族的正統，故其后續仍調派休屠王部對於單后代烏海等皇族孿鞮氏成員進行追殺。

在烏梁素海，烏海隨身攜帶的“祭天金人”被追殺而至的休屠王搶走。烏海身受重傷，與獨孤伽羅等皇族成員逃至匈奴右賢王牧地的賀蘭山闕。

后休屠王于元狩二年（公元前121年）被漢軍霍去病破得并奪取祭天金人，最終被降漢的渾邪王殺害。

“渾邪王殺休屠王，并將其眾降漢，凡四萬余人，號十萬”。漢“乃分處降者于邊五郡故塞外，而皆在河南，因其故俗為屬國”。此邊五郡依《通鑒》卷一九胡三省注謂指隴西、北地、上郡、朔方、云中五郡，漢因其故俗為五屬國。

從此休屠王之部眾，遂自休屠王原住地的武威郡而東，分散到隴西、北地、上郡、朔方、云中諸郡的關塞之外。

渾邪王降漢后被封漯陰侯，邑萬戶，替漢據守河間地，于元鼎元年（前116年）去世，謚號定侯。

（“祭天金人”被霍去病奪走后，作為最有標志性的戰利品獻給漢武帝并置于甘泉宮，休屠王的兒子金日磾降漢并委身侍奉漢武帝，意欲奪回“祭天金人”，李廣之子李敢、李當戶圖謀竊取“祭天金人”失敗以及李當戶之子李陵降匈奴的真正原因，等等，請聽下回分解。）

正因為這樣的內耗，期間匈奴多次被漢軍擊敗，以至后來匈奴內部發生更嚴重的分裂，伊稚斜時代，是匈奴從強盛走向衰落的。

伊稚斜單于漢武帝元鼎三年（公元前114年）去世，但其短命的繼任者烏維單于、烏師廬單于、且靼侯單于、孤鹿姑單于仍繼續追殺烏海等孿鞮氏正統皇族，最終烏海、獨孤伽羅等皇族成員于公元前90年，被孤鹿姑單于派出的殺手盡數殺害于賀蘭山闕，只有剛出生不久的朵顏居次被一百多於單部落勇士救出，逃往居延海。

孤鹿姑單于死后，其子左谷蠡王在漢昭帝始元二年（公元前85年）立為壺衍鞮單于，由于漢朝對匈奴領地的不斷壓縮，匈奴漠北王庭不斷西遁而無瑕顧及其他，終是放棄了對朵顏居次的追殺。

朵顏及其族人方才回到賀蘭山闕，最終定居于賀蘭山下的金山村，并陸續聯絡收攏於單部落氏族人馬，如今已形成有二十多個和迅組成的村落，有一千多人，不僅有氈房，還有畜欄和小屋。

.b