亚马逊S3在2023年11月上线了一个高性能存储类——S3 Express One Zone。围绕它,一支团队做了一件不太常见的事:用轻量级形式化方法,去验证这个生产级分布式系统的正确性。
验证的靶心是它的分布式元数据索引。这个索引用分布式事务实现了一套层级命名空间,团队要检查的是:在崩溃、网络延迟和超时这些情况下,它是否仍然满足强一致性和持久性。
方法上,他们延续了此前在轻量级形式化方法上的积累,把可执行的参考模型、基于属性的测试和无状态模型检查组合起来用。但要把这套东西搬到生产系统上,还得补三块新拼图:
- 白盒方式检查可串行化;
- 对数据面和控制面做组合式验证;
- 长时间运行的巡检任务,用参考模型跨部署检查正确性。
工具侧,团队扩展了开源无状态检查器Shuttle,让它支持生产环境的异步Rust运行时,并加入故障注入,覆盖被取消的操作和超时。
最值得记下的结论是可持续性。上线之后,工程团队接手了模型和测试基础设施,其承担的验证提交占比从41%升到84%,还独立把模型扩展到了条件写入、对象追加和原子重命名上,形式化方法团队的参与很少。
换句话说,这套验证不是外部团队的一次性交付,而是被工程团队自己接过去、继续往下跑了。
热门跟贴