打开网易新闻 查看精彩图片

初始原因是7月份的一次更新,但该问题直到上周才被触发。

上周微软多项服务出现了长达近一天的全球性中断,微软于周一发布了一份事件初步报告,指出了导致此次故障的多重因素,其中包括承认用于测试相关问题软件更新的环境与实际运行的基础设施并不匹配。

微软执行副总裁查尔斯·拉曼纳(Charles Lamanna)在社交媒体上发布了该报告摘要,其中列出了导致此次故障级联发生的部分因素。

报告称:"一个潜伏缺陷导致服务器在特定负载条件下变得不堪重负并失去响应。"报告补充说,"这一缺陷是一项专为微软365网络网关服务器准备的修复方案所导致的。"该修复方案于7月开始部署,报告称,"三个多月来,该变更在全球范围内部署,未造成任何影响。"

微软承认,尽管在部署前对该变更进行了测试,但其测试环境与实际情况并不相符。

"我们常规的负载测试未能发现这一潜伏问题,原因在于测试实验室中使用的流量和配置组合与实际情况不同,"微软表示,"在核心数量更多、硬件更新的机器上,这一资源争用问题会进一步恶化;而我们的负载测试往往更侧重于核心数较少的较弱硬件配置。"

公司解释称,一次由无关问题引发的流量激增也加剧了此次故障,并延误了问题的修复。

微软表示:"在微软365内部,我们维护着两套独立且异构的网络网关系统,用于实现隔离和高可用性。这使得许多微软365服务能够在网关之间进行故障转移,以应对中断或故障。在此次故障发生前约15小时,Teams从备用网络网关故障转移到了同时支持Exchange Online的主网关。这增加了该网络网关的负载,并改变了其流量模式。"

报告称,情况进一步恶化的是,"由于前一天发生的另一起无关问题,该网络网关近14%的服务器容量处于离线状态。"微软未提供有关该无关问题的详细信息。

上述多重因素的叠加最终导致了此次服务中断。

级联故障

微软表示:"负载增加和服务器容量减少,共同导致网络网关触发了7月份遗留的潜伏漏洞。这使得请求不断堆积,最终导致服务器完全停止响应。"虽然当服务器失去连接时,流量管理系统通常会自动将用户请求重新路由至其他正常节点,但被重定向的流量却使得该漏洞在剩余正常节点上更容易被触发。

报告称:"这导致了从一台服务器到另一台服务器的级联故障,因为同样的负载被分摊到了数量更少的服务器上。不到两小时内,此前未知的缺陷就波及了我们的整个服务器集群,使其全部失去响应。在最严重时,超过80%的服务器处于无响应状态。"

这一系列级联问题也给微软的修复工作带来了困难,因为当服务器被重新上线后,大量积压的流量会再次触发该漏洞,导致它们再度失去响应。

微软表示:"我们通常采用的自动化恢复流程,并非为应对这种大范围无响应状态而设计。此外,由于该核心代码缺陷是几个月前就已存在的潜伏问题,我们常规的回滚、灰度发布和功能开关机制都无法迅速撤销这一变更。"

仍需进一步解释

多位顾问表示,微软在尝试恢复系统服务方面整体表现值得肯定,但同时指出,该公司仍需进一步解释为何其测试环境与实际情况不符。

Beauceron Security首席执行官戴维·希普利(David Shipley)表示:"我认为这是该业务模式中固有的一种风险,无法通过某种巧妙的变通方案加以规避。"

他说:"微软几乎做到了我能想到的所有应对措施,但最终却以一种极其罕见的边缘情况全面失败。老实说,'微软被自身SKU复杂性反噬'这种情况,我此前完全没有预料到,但细想之下又带着一种因果循环般的必然性。"他强调,报告中最令人担忧的部分在于,它并未给客户提供任何切实理由,让人相信类似的级联故障不会在下周再次发生在微软身上。

希普利说:"这件事最令人不安的地方在于,类似的情况完全有可能再次发生。令人惊讶的是,这种边缘情况居然拖了这么久才发生。这是我印象中第一次出现'更好、更强的服务器'反而成为此类漏洞根源的情况。"

"潜伏缺陷演变为系统性故障"

Aikido Security企业首席信息安全官迈克·威尔克斯(Mike Wilkes)对此表示认同。

他说:"颇具讽刺意味的是,更新、更强大的硬件反而放大了此次故障,这提醒人们,可扩展性与系统韧性并非同一回事。此次服务中断堪称一个典型案例,展示了当工程假设与生产环境的实际情况发生冲突时,潜伏缺陷是如何演变为系统性故障的。微软实际上已经承认,其测试环境未能真实反映自身生产基础设施的硬件特性、并发特性以及流量特征。"

威尔克斯表示,报告中有一部分内容颇具讽刺意味。他指出:"最令人尴尬的一点是,微软自己的状态页面也在此次故障中受到了影响。当用于告知用户基础设施出现故障的系统,竟然依赖于同一套出问题的基础设施才能正常运作时,这说明对故障模式的理解已经薄弱到何种程度?这不仅仅是一次技术疏漏,更是一种想象力层面的架构性失败,也未能吸取本应在30多年前就已积累的经验教训。"

独立技术顾问史蒂文·埃里克·费舍尔(Steven Eric Fisher)表示,他同样认为测试环境与生产环境不一致是此次事件中最大的危险信号。

费舍尔说:"如果你的测试无法充分复现生产环境的硬件特性、并发情况、流量模式以及运行条件,那就意味着你已经在事实上接受了重大缺陷可能被漏检的风险。这里尤其令人担忧的一点是,微软的生产环境硬件性能本应优于测试环境,但恰恰是这种更强的性能,反而加剧了该缺陷的影响。"

Dickson Research首席分析师弗兰克·迪克森(Frank Dickson)补充说,此次修复工作中还存在另一个问题,即自动化系统在很长一段时间里悄无声息地处理了大量孤立的服务器故障,实际上这掩盖了问题的严重性,从而延误了全面响应。

他指出:"在故障真正爆发之前,其实早已有迹可循。Teams的流量在协调世界时1:07转移到了共享网关上,此后15小时内,部分地区陆续出现孤立的服务器故障。自动化系统悄无声息地逐一处理了这些故障。直到协调世界时16:20,高优先级警报才被触发。这种不断悄悄扑灭小火苗的自动化机制,反而可能掩盖了整栋大楼正在逐渐升温的事实。"

本文最初发表于Computerworld。