蒙哥即位后，一方面承认了成吉思汗以来所封宗王的权力与地位，一方面处理了自己的反对派。窝阔台汗国被一分为六，而且他们曾经掌握的八千军户也被剥夺了五千户。蒙古帝国的主要军力基本都掌握在蒙哥兄弟的手中。蒙哥派自己的弟弟忽必烈总领漠南汉地的军民事，为南下伐宋做准备；不久，又派同母弟旭烈兀西征木剌夷国和报达（今巴格达）；同母幼弟阿里不哥以及庶弟末哥等则留在汗廷，成为他治理国家的左膀右臂。元宪宗二年（1252年）蒙哥命令他的弟弟旭烈兀率军西征。

蒙哥从东西大军中每10人抽2人拨归旭烈兀，并派自己的一名幼弟去跟随他，还从拔都的钦察汗国、察合台汗国以及驸马、诸王那里“调集一队将官”；又派人到中国北方“去取射石机和火油投掷手”，让他们“派来一个炮手、火焰放射手、弩手的汉人千人队。进攻的主要目标是中东地区的两个宗教政权:阿剌模忒的亦思马因派王国一木刺夷和报达的阿拔斯王朝哈里发教廷和叙利亚等地。元宪宗二年（1252年）秋，由怯的不花率领12000蒙古先锋军从哈拉和林出发；而旭烈兀则仍留在哈拉和林，继续筹建主力西征军，于次年（1253年）十月，旭烈兀率西征主力西进。

西征军总共10万人，旭烈兀大军经过阿力麻里（即今中国新疆霍城西北方的阿脱诺克），到达土耳其斯坦（又译为突厥斯坦，即现今土库曼斯坦）。元宪宗五年（1255年），西征军驻在土耳其斯坦。九月，西征军攻进撒马尔罕（即现今乌兹别克斯坦），驻留40日后，继续进军至铁门关（即现今乌兹别克南方），又在这里驻留了30日。元宪宗六年（1256年）春，西征军向木刺夷国（即现今伊朗北方）进军。当时的木剌夷国是里海以南的亦思马因派穆斯林宗教国，这一派别是历史上有名的穆斯林“刺客派”，热衷于培养刺客刺杀“未服之国”的领导人。

该派别曾因企图组织刺客刺杀蒙哥而同蒙古人结下了深仇大恨。正统的伊斯兰教派国家黑衣大食视其为邪教、异端，蒙古帝国的大汗蒙哥则命令旭烈兀把他们“统统杀死”成吉思汗西征时，木剌夷曾经投降了蒙古军队；但成吉思汗撤军后，它又宣布独立。此时的木剌夷国王阿剌丁既昏庸无能，又刚愎自用，国内一片混乱，其子鲁克鲁丁忽儿沙杀父篡位。当旭烈兀的大军到达时，忽儿沙派人假意向旭烈兀表示投降和效忠，旭烈兀一方面与之周旋，一方面加紧了进攻的准备。

此时的木剌夷国军队兵力约有十万人，在库希斯坦（即现今阿富汗和伊朗北部交接处）。怯的不花作为先锋，进入木剌夷国境后，先攻陷了几个城池。旭烈兀分三路大军进攻，他亲率中路军，很快就攻陷了教主忽儿沙的城堡。随后旭烈兀派忽儿沙到各处劝降，并乘势攻下亦思马因派所据各城，亦思马因派九十多座城堡被毁。战斗结束后，旭烈兀将忽儿沙遣往蒙古蒙哥大汗处。忽儿沙在押解途中被杀，这个伊斯兰教中颇有实力的派别从此就在历史上消失了。

铲除了亦思马因派宗教后，旭烈兀于1257年3月，向阿拔斯王朝（即现今伊拉克）伊斯兰教的精神领袖哈里发（首领名称）所在地巴格达进军。阿拔斯王朝（即现今伊拉克）是伊斯兰教逊尼派在报达（巴格达）建立的另一个宗教国家，中国的史籍上称其为“黑衣大食”，其国王是伊斯兰教的名义领袖哈里发谟斯塔辛。哈里发谟斯塔辛因擅长同各种侵略势力周旋，保全自己至少作为穆斯林宗教领袖的地位，到这时已传了36代，历经508年。但这一次，哈里发谟斯塔辛（穆斯台绥木）对两人进行大汗争夺之战，察合台汗国、窝阔台汗国支持阿里不哥，旭烈汗国支持忽必烈，钦察汗国因距离蒙古帝国本土遥远，基本保持中立。

夺位战争进行了五年，最后忽必烈打败了同父同母的阿里不哥，夺取汗位。旭烈兀便决定不再东归，留驻波斯。164年，旭烈兀接受了元朝的册封，成为伊儿汗国，他建立的国家也成为蒙古帝国四大汗国之一。但与此同时，旭烈兀也得到他在叙利亚留下的驻军全军覆没的消息。在埃及奴隶王朝优势兵力的围攻下，怯的不花终于不敌，在以少战多的情况下被俘而死，叙利亚全部落入埃及政权之手。旭烈很想复仇，但新的威胁迫使他放弃了重新进军叙利亚的打算。新的威胁来自他的堂兄弟之国—金帐汗国。

旭烈兀受他的母亲和妻子的影响，在西亚实行亲基督教，仇视穆斯林的政策，引起了亲穆斯林的金帐汗别儿哥（术赤第三子）的仇视，别儿哥同埃及的苏丹拜伯尔斯结成同盟对付旭烈兀，双方还在高加索地区打了一仗。晚年的旭烈兀致力于巩固在波斯的统治，他通过武力胁迫或联姻的手段，清除了波斯境内的割据势力，使波斯成为伊儿汗国统治的核心地区。到他的孙子合赞汗统治时期，伊儿汗国达到全盛，领土“东起阿姆河，西至地中海，北自高加索，南抵印度洋”经济文化也欣欣向荣。伊儿汗国的统治一直延续到1393年，亡于突厥人埃米尔·帖木儿之手。