打开网易新闻 查看精彩图片

微软云网关中一个自7月以来潜伏的隐藏缺陷,是导致该公司历史上最严重的一次服务中断事件的罪魁祸首。微软发布的事件初步报告(PIR)详细说明了这个潜伏漏洞、流量变化以及服务器容量不足三者如何共同作用,导致大部分微软365和Exchange基础设施在上周末瘫痪。微软在报告中将此次事件的最终定性为“与网络安全或AI/智能体无关的技术问题”。

根据微软的初步报告,此次中断发生在11月12日16点20分(UTC时间)至11月13日16点10分(UTC时间)之间,持续时间接近24小时,并在11月14日之前对受影响系统进行了额外监控。

此次中断始于11月12日,迅速波及到依赖微软云服务和电子邮件交换基础设施的企业和公共机构。该事件被记录在微软的事件编号EX1550543和MO1550821中。查看微软状态页面上的完整报告需要管理员权限,不过Office Watch网站已转载了该初步报告,宾夕法尼亚大学也保存了微软服务健康状态更新的存档。

多重因素叠加酿成事故

微软将此次中断归因于三个因素。首先,自7月起部署在云网关上的一项变更引入了一个漏洞:在特定条件下,CPU和内存资源可能被耗尽并陷入无响应状态。微软表示,由于测试时使用的硬件性能低于部分已部署到生产环境中的系统,这一缺陷在发布前测试中未被发现,而新机器上更高的CPU核心数显然加剧了锁死问题。

第二个因素是服务器负载。微软表示:“常规网络维护和升级期间的流量转移,暴露出了这一潜藏漏洞。”该公司部署了两套独立的网关系统来访问微软365,以确保冗余可靠性。如果一套系统出现问题导致用户无法正常访问,另一套系统便会启用以维持流量畅通。报告显示,在此次中断发生约15小时前,Teams的流量从备用网关转移到了主网关,而该主网关同时负责维持Exchange Online的访问。这次切换属于标准的故障保护措施,但这也使得主网关需要处理比以往更多、且请求类型组合不同的流量。随着请求不断堆积,受影响的服务器耗尽了容量,开始拒绝新的连接请求。

流量转移暴露出了第三个因素:基础设施容量不足。此前存在的一个故障导致微软网关服务器集群的运行容量比最佳状态低了14%。这部分缺失的冗余空间原本足以应对此次需求激增,但当它与变化的流量模式及底层缺陷叠加在一起时,便导致网关在请求持续堆积的过程中出现了锁争用问题。

当美国企业的业务运营开始进入每日高峰期时,网关服务器开始陆续陷入冻结状态。负责将请求从无响应服务器转移出去的备份系统虽然正常发挥了作用,但转移后的请求在本应健康的备用网关上同样遭遇了锁死问题。这形成了滚雪球效应,最终导致超过80%受影响的微软网关服务器陷入瘫痪。原本用于按区域隔离受影响系统的机制似乎也未能生效。微软目前的报告并未说明这些隔离机制失效的具体原因。

修复过程并不轻松

此次恢复耗时较长,因为修复方案需要微软工程师进行针对性的系统更新。尝试重启网关服务器的做法并未奏效——当服务器重新上线后,大量此前积压的请求队列仍在等待访问,这立即再次触发了导致此次中断的资源耗尽问题。微软表示,Teams、OneDrive及其他Office应用程序的流量可以被转移到未受影响的基础设施上,但由于扩展性限制,Exchange Online无法进行类似的流量转移。

由于7月份引入的漏洞当时尚未被发现,系统回滚操作同样无效。简单地恢复到此前“正常运行”的状态并不可行,因为问题的根源早已潜藏在系统之中。服务器经过修补后被逐步恢复上线,微软表示已增加了额外容量,并部署了流量分配防护机制,以尽量避免类似事件再次发生。此外,微软还延长了受影响邮件的投递超时时间,以防止延迟邮件因超时而被退回为无法送达。

微软预计将于11月20日发布完整的最终事件报告。该最终报告可能会进一步说明区域隔离系统失效的具体原因,以及将采取哪些纠正措施来确保今后能够避免此类中断事件再次发生。截至周一上午,微软的所有云服务均已恢复在线并正常运行。