通过一系列强硬手段，尔朱荣顺利掌控了北魏大权，但此刻北魏狼烟四起的局面并没有因此改变。建义元年（南梁大通二年，公元528年）六月，葛荣军队由于缺乏粮食，于是葛荣便派遣他的仆射任褒率兵向南侵犯，到了沁水县。

北魏朝廷立刻做出反应，任命元天穆为大都督东北道诸军事，率领宗正珍孙等将领讨伐葛荣。六月辛亥日（二十五日），元子攸更是下诏表示要御驾亲征扫除平定燕、代地区的匪患。元子攸御驾亲征当然不可能成行，于是任命尔朱荣率领左军，上党王元天穆率领前军，司徒杨椿为右军，司空穆绍率领后军出发平叛。葛荣得知北魏大军来袭，选择退守相州城北。

八月，葛荣率军包围了邺城，其散游之兵已经过了汲郡，所到之处大肆残杀掠夺。尔朱荣认为不能再留着葛荣了，便上表请求率军讨伐葛荣。九月，尔朱荣将侄子肆州刺史尔朱天光召来，命他留守晋阳，尔朱荣自己率七千（另说七万）精锐骑兵，各备两匹战马，以侯景为前锋，从近路加倍行军，向东出了滏口。

此时葛荣号称有百万之众，且一直横行于黄河以北，根本就没把尔朱荣放在眼里。葛荣甚至命令他的部队每人都准备一根长绳，到时候只管捆绑敌人就是了。接着便率军从邺城往北，排成数十里的长阵，队伍如张开的簸箕一样向前推进。但葛荣似乎忘了自己所谓的百万大军鱼龙混杂，真正有战斗力的并没有多少。

与之相反尔朱荣的契胡骑兵人虽少，却个个骁勇善战，尔朱荣又是极度善于用兵之人。得知葛荣大张旗鼓的行军后，尔朱荣下令将队伍伏在山谷之中作为奇兵。紧接着又命令各处骑兵故意扬起尘土，擂起战鼓并大声喊叫，故布疑阵使葛荣军摸不清自己有多少人马。考虑到人马近战时，用刀不如用棒，尔朱荣命令士兵们每人带一根短棒，放在马肚的一侧。到交战时担心下马斩首会影响骑兵追逐，便不允许斩首计功只令用短棒击打而已。

双方一比较之下，胜利的天平倒向何方已经一目了然。等到尔朱荣下达进攻指令后，其麾下各路战士同仇敌忾个个奋勇争先，尔朱荣更是亲自冲锋陷阵，从敌人背后杀出，里应外合，内外夹击。葛荣军此时兵力分散，又被打得措手不及，瞬间大败，葛荣自己也不幸被俘。眼见首领被抓，葛荣大军剩余部众也全部投降了。

如何处置这些降兵成为了摆在尔朱荣面前的棘手问题。因为人数众多，如果马上将他们分开的话，恐怕会引起这些人的疑虑恐惧，可能还会再次聚集起来攻打尔朱荣自己。于是尔朱荣下令让他们各随其便，亲属相随，任意在哪儿定居均可。投降的士兵听到这样的决定大喜过望，当场就四下分散，然后决定各回各家。可他们不会想到，当他们出走百里之外，聚不起团来之后时，竟发现尔朱荣早就安排官兵守在各条道路的出口等候他们。于是葛荣部众又依次被尔朱荣重新抓了起来并押往别处。

对于葛荣的队伍中能用的将领，尔朱荣也根据他们的才能，分别授予适当的官职。但对于宇文洛生、宇文泰兄弟，尔朱荣却起了杀心。尤其是这宇文洛生，不仅人品端正体恤士兵，又十分骁勇善战。考虑到葛荣还有如此多降兵，宇文洛生这种有才能有号召力的就绝对留不得，于是尔朱荣故意捏造罪名，诋毁宇文洛生，然后杀害了他。至于宇文泰，尔朱荣也是不打算放过的，但宇文泰面对刀斧不甘就戮，一番慷慨陈词后竟然打动了尔朱荣，将其留下给到了贺拔岳手下任职。

一切安排妥当，尔朱荣又派人用囚车将葛荣送到洛阳，这样北魏冀、定、沧、瀛、殷五州的叛乱全部平定。此时元天穆驻军于朝歌城南，穆绍、杨椿还没有发兵，在得知葛荣的军队被尔朱荣消灭后，元天穆等都停止发兵。九月乙亥日（二十一日），北魏宣布大赦，改年号为永安。辛巳日（二十七日），立下大功的尔朱荣被任命为大丞相、都督河北畿外诸军事，尔朱荣的儿子平昌公尔朱文殊、昌乐公尔朱文畅也都晋升爵位为王。

十月丁亥日（初三），葛荣被押至洛阳，元子攸亲临阊阖门。葛荣被押来见过元子攸后，在都市斩首。葛荣之乱虽然暂时告一段落，但因为尔朱荣对其部众的处置不当，导致这些人在之后一段时间里依旧骚乱不断。