忽必烈登上汗位后，推行「汉法」，对军事制度进行了改革。统一全国后的元朝军队的基本构成，可以分为中央宿卫军和地方镇戍军两大系统，其组织编制既是中原传统军队组织编制方式的延续，又保存了蒙古军制的某些特点。
一、宿卫军
元朝中央宿卫军由原来的怯薛和新组织的侍卫亲军组成。
（一）怯薛
忽必烈即位之初，幼弟阿里不哥也在漠北称汗，双方兵戎相见，展开了激烈的斗争。原来蒙古大汗的怯薛一分为二，一部分归属于忽必烈，一部分归属于阿里不哥。忽必烈很快就从属下的蒙占各千户中又征集了一批宿卫士，使怯薛又达到了万人的定额，仍然实行四怯薛轮流值班的制度。全国统一以后，色目人（中亚及其以西各族）汉人乃至南人（原南宋统治下各族）大量涌入怯薛，朝廷多次下令禁止，但这种现象并未绝迹。怯薛的万人定额也经常被突破，有时多达一万五六千人，加上随行人员和私属人口等，整个怯薛组织人数高达五六万人。人数增多使国家经费负担过重，经过不断的裁减淘汰，到文宗至顺三年（1332年），怯薛还有1.3万余人。
尽管怯薛的轮值仍然如故，但实际上京城和官廷的防护主要已由侍卫亲军担任。怯薛逐渐演变成为宫廷军事官僚集团，是元朝高级军政官员的主要来源。怯薛外放作官，由皇帝直接任命，不经中书省议奏。怯薛成员受皇帝宠任，插手朝政之事比比皆是。怯薛作为军事组织的作用实际上愈来愈小了。
（二）侍卫亲军
忽必烈即位之初，建武卫军，兵员3万人左右，由各汉军万户属下军队征调。忽必烈的用意是建立一支类似历代中原王朝中央禁军的部队，由皇帝亲自掌握，既可用于出征作战，也可保卫燕京（今北京）。武卫军设都指挥使、副都指挥使统领，下设千户、百户等职，均由汉人担任。至元元年（1264年）十月，武卫军改名为侍卫亲军，分为左右两翼，增加兵员万余人，至元八年（1271年）七月，改为左、右、中三卫亲军，兵员又有所增加。全国统一以后，侍卫亲军进一步扩大，民族成分也趋于复杂，汉人之外，又有蒙古、色目亲军。以后历朝不断增设新的亲军机构。到文宗（1328年~1332年）末年，侍卫亲军总人数在20万以上，其中汉人卫军仍占大多数，色目卫军也占一定比例，蒙古卫军相对较少。
此外，至元十六年（1279年）忽必烈设立东官侍卫，由汉军士兵组成，1万人。二十二年（1285年），又从中原探马赤军中抽调部分军队组成东宫蒙古侍卫。成宗即位后，将东宫侍卫改为隆福宫左都威卫，东宫蒙古侍卫改为隆福官右都威卫，隆福宫是皇太后所在之地。武宗至大二年（1309年），又为皇太子设卫率府，统汉军万人。后来改设左、石卫率府，各统汉军万人，作为太子卫军。英宗即位（延祐七年，即1320年）后，左卫率府交给枢密院管辖，不再作为东宫卫军。以上亦在侍卫亲军之列。
侍卫亲军负责大都、上都及其周围地区的安全，又是朝廷用以「居重驭轻」控制地方的常备精锐部队，随时可以派出作战，或守卫要害地区。各卫亲军出枢密院管辖，只有东宫卫军例外，不少卫的都指挥使，便由枢密院官兼任。侍卫亲军实际上成为元朝军队的主力。
二、地方镇戍军
元代的官方文献说：「及天下平，命宗王将兵，镇边席徼襟喉之地，而以蒙古军屯河洛、山东，据天下腹心；汉军、探马赤军，戍淮江之南，以尽南海，而新附军亦间厕焉。」这段话大体描述了 元代地方镇戍的形势，但有不够准确之处。
河洛、山东是蒙古军镇守之地。从至元二十一年（1284年）开始，元朝政府陆续设置了山东河北、河南淮北、四川、陕西四个蒙古军都万户府，立司于濮州（今山东鄄城北）、洛阳、成都和凤翔，各统军一二万人不等，这些蒙古军都万户府统帅的，大多是原来的探马赤军，其中有蒙古人，也有不少色目人，例如山东河北蒙占军都万户府属下，就有哈剌鲁人（中亚民族之一，原居于新疆伊型河一带）。长期屯戍，军士的家属也逐渐迁来定居，元朝政府「分赐刍 牧以为编民」。「北方人初至，犹以射猎为俗，后渐知耕垦播殖如华人」。
元朝平定江南以后，设立万户府率领军队分屯南方各省要害之地。屯驻南方的军队以汉军为主，也有一些蒙古军、色目军和新附军（南宋降军），至元二十二年（1285年）二月，「诏改江淮、江西元帅招讨司为上、中、下三万户府，蒙古、汉人、新附诸军，相参作三十七翼。上万户：宿州、蕲县、真定、沂郯、益都、高邮、沿海七翼。中万户：枣阳、十字路、邳州、邓州、杭州、怀州、孟州、真州八翼。下万户：常州、镇江、颖州、庐州、亳州、安庆、江阴水军、益都新军、湖州、淮安、寿春、扬州、泰州、弩手、保甲、处州、上都新军、黄州、安丰、松江、镇江水军、建康二十二翼。
每翼设达鲁花赤、万户、副万户各一人，以隶所在行院。」这是一次规模较大的镇戍部署，遍及江、淮各地。后来陆续有所调整。汉军家在北方，一般采用定期轮换的办法。蒙古、色目军则往往就在屯戍之地定居。新附军一般则分别编入各万户，并不独立成军。
这里就新附军的情况作简单的说明。「其继得宋兵，号新附军。」南宋末年军队号称70余万人，大部在战争中被消灭或溃散，但归附元朝者为数亦相当可观。元朝政府对安置新附军颇费心机，将其部分精锐抽调到京师，编入侍卫亲军，其余大部则分别编入地方镇戍各万户府。每当战事发生，新附军常在征调之列，如至元十八年（1281年）征日本，即以新附军为主力。不参战的新附军则在各处从事屯田和工役。经过战争消耗和自然减员，到元代后期，新附军的名称已很少有人提到了。
三、乡兵和答剌罕军
元朝政府在边境少数民族地区，编组了一些由当地少数民族组成的军队。云南有寸白军，又称爨僰军 ，以云南土著民族白人和爨 人为主。寸是爨 的简写，僰 人就是白人。此外还有白衣（百夷，指傣族）军、罗罗斯（彝族）军。湖广地区有黎兵、洞兵（又称撞兵，即今天的壮族）、徭兵（瑶族）、苗军等。福建有畲军，由畲民组成。其他地区也有类似的军队。它们分别由所在行省设官管理，维持地方的安宁，「不出戍他方者，盖乡兵也」。但在需要的时候，也要被调出征或镇戍其他地区。例如，元朝末年，以杨完者为首的苗军，便调到长江下游，参与镇压农民起义的军事行动。
元朝还有一种临时招募、不给粮饷、不入兵籍、充当前锋的军人，称为答剌罕军。「答剌罕」是蒙语 darqan 的音译，原意为自在。军队以此命名，即「纵恣无禁」之意，也就是可以任意抢劫。应募允当答剌罕军的，都是「勇悍无赖子弟」。这种军队在宋、元战争时已出现，元代中期镇压少数民族起义时常见，元末农民战争中仍有其踪迹，这种军队所到之处造成很大危害，元朝政府利用其破坏性，达到自己的军事目的。
四、军队编制
元朝军队编制形成于大蒙古国建军初期。统一全国后大体相沿，制度进一步完善。如前所述，各种军队通常编为万户府、千户所、百户所、牌子四级。至元二十一年（1284年）改革编制，万户府、千户所按所统兵员多少分为上、中、下三等。上万户府统军7000人以上，中万户府统军5000人以上，下万户府统军3000人以上。千户所统军分为700人、500人、300人三等。百户所统军则分为上、下两等，上等70人，下等50人。百户所之下设牌子，编兵10人。统兵长官，万户府设万户、副万户；千户所设千户、副千户；百户所设百户，百户之下设牌子头（十户长）。
