11月12日,微软365多项服务集体停摆。当时外界猜什么的都有:大规模网络攻击?数据中心电力撑不住?事后查明,起因不过是一个没被发现的bug,一路滚雪球滚成了全球性故障。
微软负责Copilot、智能体与平台业务的执行副总裁查尔斯·拉曼纳(Charles Lamanna)在X上发帖,解释了这次宕机的源头。按他的说法,问题始于一个"潜伏缺陷",它混进了此前一次微软365网络网关服务器的修复中。在正常服务器负载下,这个bug完全休眠,用配置较弱的机器测试时尤其如此。可一旦负载升高、换上核心数更多的新服务器,故障就被激活了。
因为躲过了排查好几周,这个bug得以潜入全球各地的平台。拉曼纳表示,微软通常有防护机制来拦住这类问题。微软365的网关系统建立在冗余之上,主网络出问题,服务可以切到备用网络。这种自动切换对微软365来说是常态,用户根本察觉不到,因为系统本就该这样运转。
但11月12日不一样。一次例行的Teams流量切换,加重了本就因另一个无关问题而降载运行的服务器负担。几件事叠在一起,制造出服务器扛不住的负载,而这一切都源于那个没被发现的bug。于是微软365相当于对自己发起了一场DDoS攻击,服务随之中断。
问题还在继续滚大。微软365的冗余是一层叠一层,即便出现网络问题,服务也不该中断到那种程度。可底层bug引发了拉曼纳所说的"级联故障":出错的地方越多,缺陷搞坏服务的机会就越多。据他介绍,微软365的基础设施被划分为多个分片,彼此相连但技术上相互独立,一个倒下,其余应保持完好。然而宕机期间,正常的隔离屏障没有守住,级联故障一路畅通。bug和负载问题造成了中断,失灵的屏障则把它放大成了大面积故障。
技术人员把服务恢复之后,麻烦也没停:等待中的用户涌回微软365,海量流量再次压垮服务器,服务又停了。更棘手的是,根因已经潜伏了数月,修它不像回滚代码那么简单。微软团队需要分批断开服务器、打上热修复补丁、重启后再重新上线。这花了时间,但奏效了。
这次事件也留下一个绕不开的对照:在比较Office 2024与微软365的优劣时,它值得被算进去。毕竟,没有服务器,服务也就无从宕起。
热门跟贴