忽必烈登上汗位後，推行「漢法」，對軍事制度進行了改革。統一全國後的元朝軍隊的基本構成，可以分為中央宿衛軍和地方鎮戍軍兩大系統，其組織編制既是中原傳統軍隊組織編制方式的延續，又保存了蒙古軍制的某些特點。
一、宿衛軍
元朝中央宿衛軍由原來的怯薛和新組織的侍衛親軍組成。
（一）怯薛
忽必烈即位之初，幼弟阿裏不哥也在漠北稱汗，雙方兵戎相見，展開了激烈的鬥爭。原來蒙古大汗的怯薛一分為二，一部份歸屬於忽必烈，一部份歸屬於阿裏不哥。忽必烈很快就從屬下的蒙占各千戶中又征集了一批宿衛士，使怯薛又達到了萬人的定額，仍然實行四怯薛輪流值班的制度。全國統一以後，色目人（中亞及其以西各族）漢人乃至南人（原南宋統治下各族）大量湧入怯薛，朝廷多次下令禁止，但這種現象並未絕跡。怯薛的萬人定額也經常被突破，有時多達一萬五六千人，加上隨行人員和私屬人口等，整個怯薛組織人數高達五六萬人。人數增多使國家經費負擔過重，經過不斷的裁減淘汰，到文宗至順三年（1332年），怯薛還有1.3萬余人。
盡管怯薛的輪值仍然如故，但實際上京城和官廷的防護主要已由侍衛親軍擔任。怯薛逐漸演變成為宮廷軍事官僚集團，是元朝高級軍政官員的主要來源。怯薛外放作官，由皇帝直接任命，不經中書省議奏。怯薛成員受皇帝寵任，插手朝政之事比比皆是。怯薛作為軍事組織的作用實際上愈來愈小了。
（二）侍衛親軍
忽必烈即位之初，建武衛軍，兵員3萬人左右，由各漢軍萬戶屬下軍隊征調。忽必烈的用意是建立一支類似歷代中原王朝中央禁軍的部隊，由皇帝親自掌握，既可用於出征作戰，也可保衛燕京（今北京）。武衛軍設都指揮使、副都指揮使統領，下設千戶、百戶等職，均由漢人擔任。至元元年（1264年）十月，武衛軍改名為侍衛親軍，分為左右兩翼，增加兵員萬余人，至元八年（1271年）七月，改為左、右、中三衛親軍，兵員又有所增加。全國統一以後，侍衛親軍進一步擴大，民族成分也趨於復雜，漢人之外，又有蒙古、色目親軍。以後歷朝不斷增設新的親軍機構。到文宗（1328年~1332年）末年，侍衛親軍總人數在20萬以上，其中漢人衛軍仍占大多數，色目衛軍也占一定比例，蒙古衛軍相對較少。
此外，至元十六年（1279年）忽必烈設立東官侍衛，由漢軍士兵組成，1萬人。二十二年（1285年），又從中原探馬赤軍中抽調部份軍隊組成東宮蒙古侍衛。成宗即位後，將東宮侍衛改為隆福宮左都威衛，東宮蒙古侍衛改為隆福官右都威衛，隆福宮是皇太後所在之地。武宗至大二年（1309年），又為皇太子設衛率府，統漢軍萬人。後來改設左、石衛率府，各統漢軍萬人，作為太子衛軍。英宗即位（延祐七年，即1320年）後，左衛率府交給樞密院管轄，不再作為東宮衛軍。以上亦在侍衛親軍之列。
侍衛親軍負責大都、上都及其周圍地區的安全，又是朝廷用以「居重馭輕」控制地方的常備精銳部隊，隨時可以派出作戰，或守衛要害地區。各衛親軍出樞密院管轄，只有東宮衛軍例外，不少衛的都指揮使，便由樞密院官兼任。侍衛親軍實際上成為元朝軍隊的主力。
二、地方鎮戍軍
元代的官方文獻說：「及天下平，命宗王將兵，鎮邊席僥襟喉之地，而以蒙古軍屯河洛、山東，據天下腹心；漢軍、探馬赤軍，戍淮江之南，以盡南海，而新附軍亦間廁焉。」這段話大體描述了 元代地方鎮戍的形勢，但有不夠準確之處。
河洛、山東是蒙古軍鎮守之地。從至元二十一年（1284年）開始，元朝政府陸續設定了山東河北、河南淮北、四川、陜西四個蒙古軍都萬戶府，立司於濮州（今山東鄄城北）、洛陽、成都和鳳翔，各統軍一二萬人不等，這些蒙古軍都萬戶府統帥的，大多是原來的探馬赤軍，其中有蒙古人，也有不少色目人，例如山東河北蒙占軍都萬戶府屬下，就有哈剌魯人（中亞民族之一，原居於新疆伊型河一帶）。長期屯戍，軍士的家屬也逐漸遷來定居，元朝政府「分賜芻 牧以為編民」。「北方人初至，猶以射獵為俗，後漸知耕墾播殖如華人」。
元朝平定江南以後，設立萬戶府率領軍隊分屯南方各省要害之地。屯駐南方的軍隊以漢軍為主，也有一些蒙古軍、色目軍和新附軍（南宋降軍），至元二十二年（1285年）二月，「詔改江淮、江西元帥招討司為上、中、下三萬戶府，蒙古、漢人、新附諸軍，相參作三十七翼。上萬戶：宿州、蘄縣、真定、沂郯、益都、高郵、沿海七翼。中萬戶：棗陽、十字路、邳州、鄧州、杭州、懷州、孟州、真州八翼。下萬戶：常州、鎮江、穎州、廬州、亳州、安慶、江陰水軍、益都新軍、湖州、淮安、壽春、揚州、泰州、弩手、保甲、處州、上都新軍、黃州、安豐、松江、鎮江水軍、建康二十二翼。
每翼設達魯花赤、萬戶、副萬戶各一人，以隸所在行院。」這是一次規模較大的鎮戍部署，遍及江、淮各地。後來陸續有所調整。漢軍家在北方，一般采用定期輪換的辦法。蒙古、色目軍則往往就在屯戍之地定居。新附軍一般則分別編入各萬戶，並不獨立成軍。
這裏就新附軍的情況作簡單的說明。「其繼得宋兵，號新附軍。」南宋末年軍隊號稱70余萬人，大部在戰爭中被消滅或潰散，但歸附元朝者為數亦相當可觀。元朝政府對安置新附軍頗費心機，將其部份精銳抽調到京師，編入侍衛親軍，其余大部則分別編入地方鎮戍各萬戶府。每當戰事發生，新附軍常在征調之列，如至元十八年（1281年）征日本，即以新附軍為主力。不參戰的新附軍則在各處從事屯田和工役。經過戰爭消耗和自然減員，到元代後期，新附軍的名稱已很少有人提到了。
三、鄉兵和答剌罕軍
元朝政府在邊境少數民族地區，編組了一些由當地少數民族組成的軍隊。雲南有寸白軍，又稱爨僰軍 ，以雲南土著民族白人和爨 人為主。寸是爨 的簡寫，僰 人就是白人。此外還有白衣（百夷，指傣族）軍、羅羅斯（彜族）軍。湖廣地區有黎兵、洞兵（又稱撞兵，即今天的壯族）、徭兵（瑤族）、苗軍等。福建有畬軍，由畬民組成。其他地區也有類似的軍隊。它們分別由所在行省設官管理，維持地方的安寧，「不出戍他方者，蓋鄉兵也」。但在需要的時候，也要被調出征或鎮戍其他地區。例如，元朝末年，以楊完者為首的苗軍，便調到長江下遊，參與鎮壓農民起義的軍事行動。
元朝還有一種臨時招募、不給糧餉、不入兵籍、充當前鋒的軍人，稱為答剌罕軍。「答剌罕」是蒙語 darqan 的音譯，原意為自在。軍隊以此命名，即「縱恣無禁」之意，也就是可以任意搶劫。應募允當答剌罕軍的，都是「勇悍無賴子弟」。這種軍隊在宋、元戰爭時已出現，元代中期鎮壓少數民族起義時常見，元末農民戰爭中仍有其蹤跡，這種軍隊所到之處造成很大危害，元朝政府利用其破壞性，達到自己的軍事目的。
四、軍隊編制
元朝軍隊編制形成於大蒙古國建軍初期。統一全國後大體相沿，制度進一步完善。如前所述，各種軍隊通常編為萬戶府、千戶所、百戶所、牌子四級。至元二十一年（1284年）改革編制，萬戶府、千戶所按所統兵員多少分為上、中、下三等。上萬戶府統軍7000人以上，中萬戶府統軍5000人以上，下萬戶府統軍3000人以上。千戶所統軍分為700人、500人、300人三等。百戶所統軍則分為上、下兩等，上等70人，下等50人。百戶所之下設牌子，編兵10人。統兵長官，萬戶府設萬戶、副萬戶；千戶所設千戶、副千戶；百戶所設百戶，百戶之下設牌子頭（十戶長）。
