歷史上最早的鐵鷂子部隊實際上起源於遼國的契丹人。【遼史】中有記載，遼太宗耶律德光的心腹部隊中就包括兩支鐵鷂子部隊。在公元937-946年期間，契丹統軍副使高模翰曾兼任這兩支部隊的指揮。此外，遼將蕭陽阿也曾擔任過鐵鷂子詳穩。
在公元945年3月與後晉軍隊的交戰中，遼國輕騎兵試圖沖破以鹿角構築的陣地，但被守軍火力所阻。於是，裝備重甲的鐵鷂子部隊下馬，試圖拔除鹿角並使用短兵器攻擊晉軍。盡管最終被後晉守軍擊潰，但這場戰鬥充分展示了鐵鷂子和普通騎兵在將領眼中的不同。
隨著黨項人的崛起，新的西夏也開始擴充其騎兵部隊。但由於缺乏重裝裝置，他們經常在與配有重甲的吐蕃勢力的交戰中遭遇挫敗。西夏的創始人拓跋繼遷甚至在混戰中受到了致命傷害。然而，隨著拓跋元昊逐漸掌握大局，西夏人也開始組建自己的鐵鷂子部隊。雖然數量有限，僅約3000人，但他們對陣宋軍時表現出了強大的戰鬥力。
1082年9月，號稱30萬的西夏軍隊圍攻銀川城，以鐵鷂子和山地步兵實施輪番猛攻。宋軍守將徐禧既不聽部將實施半渡而擊的建議，又讓部隊在城外與敵軍對峙。結果，鐵鷂子發起的沖鋒擊潰了宋軍，城垣被攻破，守軍損失慘重。
然而，關於西夏鐵鷂子的記載常常因古代文獻的簡略而引起過度解讀。例如，【遼史•西夏】中提到鐵鷂子用鉤索絞聯，士兵雖死卻不會掉落馬下。這往往讓人誤以為是將幾匹鐵騎互相繫結成連環馬。但實際上，這只是指用鐵索將騎士固定在馬背上。從戰術角度來看，將幾匹戰馬連線起來反而會束縛騎士的行動。
針對西夏鐵鷂子的特點，有人提出了使用斬馬刀的破解戰術。即訓練精銳士兵在混戰中用長刀劈砍沒有馬甲保護的腿部和腹部。
這表明宋軍既沒有能與之抗衡的騎兵，也對大部份普通步兵沒有信心。然而，這種建議後來被許多宋軍將領采納。
