1916年，张作霖与冯德麟联手挤走段芝贵，并趁机喊出“奉人治奉”的口号。经过多方争取，张作霖成功压制了冯德麟，被袁世凯任命为盛武将军督理奉天军务兼奉天巡按使。同年，又被黎元洪改任为奉天督军兼省长。

1917年，冯德麟看错形势，冒然听信张勋拥立溥仪复辟的建议，复辟失败后被段祺瑞逮捕。张作霖虽多方运作救下了冯德麟，但也趁机夺取了他第二十八师。至此，张作霖彻底掌控了奉天，完成了从团练长到奉天掌权者的华丽转变。

但此时的张作霖还只能在奉天称霸，距离“东北王”的地步还差了很多，不过对于已经起势的张作霖来说，这只是时间问题。

当时东北其余两省，黑龙江督军是朱庆澜，吉林省督军是孟恩远，面对这两个人，张作霖毫不犹豫的选择了先从朱庆澜下手，因为这比较符合“先挑软柿子捏”的原则。

一来，朱庆澜这个人虽然是黑龙江督军，但是根基很浅，并没有自己的势力；二来，黑龙江内部并不团结，朱庆澜手下有个叫许兰洲的手下，一直觊觎朱庆澜的位置。张作霖就利用其内部矛盾，主动联系许兰洲，怂恿其制造祸端，挤走朱庆澜。

面对张作霖的鼓动，许兰洲果然上当了。他故意制造了旗人事端，并借机向北京的袁世凯请求将朱庆澜调走。然而，他的目的只完成了一半，袁世凯答应了他的请求，调走了朱庆澜，但也派来了毕桂芳来接任朱庆澜，而许兰洲还是老老实实的当一个师长。

对于这种情况，许兰洲显然是不能接受的，于是又故技重施，联合巴英额、英顺、任国栋等人挤兑毕桂芳。结果，毕桂芳刚刚上任不久就被迫宣布下台，许兰洲无限接近成功。然而，许兰洲确实缺乏政治头脑，刚刚挤走毕桂芳，就与巴英额、英顺等人闹翻了。

当时的北京政府已经是段祺瑞做主，而鲍贵卿又深得段祺瑞赏识，加上当时的张作霖影响力已经非常大，鲍贵卿便被推上了黑龙江督军兼省长的位置。而许兰洲和他的第一师则被调到了奉天，受到张作霖的节制。至此，黑龙江省也落入张作霖之手。

这段历史听起来很复杂，张作霖从策划到实施再到成功，总共也就不到一年的时间而已。

兼并了黑龙江省之后，张作霖立刻将目光投向了吉林省。不过相比于黑龙江的朱庆澜，吉林的督军孟恩远就有点不好对付了。一来，此人盘踞吉林近十年，根基非常深厚；二来，此人跟随袁世凯多年，人脉极广。张作霖想要不费一兵一卒就收服此人，难度非常大。

不过此时的张作霖也今非昔比，吉林再难啃，但大形势也是夹在黑龙江和奉天之间，被张作霖吃掉也是早晚的事情。更何况在张作霖兼并黑龙江的第二年，他还干了一件改变势力平衡的大事：抢了直系采购的军火。靠着这批军火，张作霖一下子扩充了7个混成旅，实力大增。

同年七月，张作霖被总统徐世昌任为东三省巡阅使，名义上已经节制了吉林省。当然，不赶走孟恩远，就永远只能是形式上。

这种情况下，张作霖已经失去了和孟恩远慢慢耗下去的耐心。他利用自己的权力，直接电请北京政府调离孟恩远。孟恩远拒绝卸任，他便立刻组建讨伐军，准备讨伐吉林。

面对张作霖的强硬态度，孟恩远最终明白，即便是自己抵抗到底，也无法阻挡张作霖称霸东北的脚步，于是在提出一些不痛不痒的条件下，主动交出了吉林省督军大权。他的那些部下，则要么接受这个事实，要么选择出逃。

清除了所有的障碍后，张作霖便将黑龙江的鲍贵卿调到了吉林省任督军，自己的心腹爱将孙烈臣担任黑龙江督军，至此东北彻底落入了张作霖之手。张作霖终于实现了从一个团练长到“东北王”的转变，而这个过程一共只用了18年的时间。

可以看出，张作霖在对付朱庆澜和孟恩远时，采取了两种完全不同的策略，对前者张作霖更多的是依靠政治手腕来解决，虽然速度很快，但手腕相对温和；对后者则更多的是武力胁迫，虽然速度相对较慢，但手腕非常强硬。

这就是背后实力相对变化的一种外在表现，作为一个土匪出身的军阀，张作霖肯定也不是什么善男信女，骨子里肯定也更加喜欢直接用武力解决问题，只不过当实力不允许时，他能够压制自己的冲动，这是同期其他军阀所不具备的素质。