亚马逊云科技(AWS)于周六庆祝其简单存储服务(S3)诞生20周年,还爆了这服务的一些小料。…

S3于2006年3月14日推出,根据亚马逊首席开发者布道师塞巴斯蒂安·斯托马克写的庆生博文,一开始只有“大约1拍字节的总存储容量,分布在3个数据中心、15个机架上的约400个存储节点里,总带宽15 Gbps。”

文章称,如今S3“存储了超过500万亿个对象,数据量达数百艾字节,遍布全球39个AWS区域的123个可用区,每秒处理超过2亿次请求。”

AWS用以下奇特的指标来描述S3的规模:“要是把数千万块S3硬盘一块块摞起来,高度能从地面到国际空间站,再折回来还差不多。”

大多数3.5英寸硬盘高26毫米,而国际空间站在距地球约400公里的轨道上运行。我们知道AWS买的是定制硬件,不过要是按标准规格来算的话,我们估计S3大概用了2.76亿块硬盘。*

在帖子中,Stormacq 认为 S3 的一致性是该服务最了不起的成就。

“你在 2006 年为 S3 写的代码,原封不动,至今仍然能用,”他写道。“你的数据历经了 20 年的创新和技术演进。我们把基础设施迁移过了好几代磁盘和存储系统。处理请求的代码全部重写过了。但你 20 年前存储的数据今天仍然可用,而且我们做到了 API 完全向下兼容。”

帖子还指出,S3 API“已被整个存储行业采纳,当作标杆”,并且“现在多家供应商提供 S3 兼容的存储工具和系统,沿用相同的 API 模式和规范。”

这也是一个非常重大的成就。笔者当时在一家专注存储领域的澳大利亚媒体做编辑,AWS 推出 S3 后几个月内,做备份的创业公司就开始将该服务用作新的存储层,使他们能够大规模处理数据,而用当时的本地部署技术来存储或保护,成本高得根本做不到。所以 S3 给数据保护带来了全新的可能。

云存储的广泛可用也留下了文化印记:Netflix和Spotify是知名的S3用户,并利用该服务快速实现规模化扩展。这两家流媒体巨头树立了典范,视频和音乐行业的其他公司纷纷效仿。

S3也引发了不少问题,尤其是最初那个奇怪的决定——将该服务上的所有资源默认开放给公众访问,除非用户主动限制访问权限。一些S3用户以为不为人知就能带来安全,但一旦犯罪分子开始寻找开放的S3存储桶,他们发现了成千上万个不安全的云存储配置。

S3也遭遇过宕机,最广为人知的一次是2017年,亚马逊问题频出的US-EAST-1区域出现故障,导致一些主要网站瘫痪数小时。

亚马逊的生日帖子着重突出了积极的一面,尤其是S3的11个9(99.999999999%)持久性和无数据丢失运行。

这篇文章透露了一些关于 AWS 如何实现这种可靠性的信息。

“S3 持久性的核心是一套微服务系统,它持续检查整个服务器集群中的每一个字节,”Stormacq 写道。“这些审计服务检查数据,并在检测到异常迹象时自动触发修复系统。”

他随后透露,在过去八年中,“AWS 一直在逐步用 Rust 重写 S3 请求路径中对性能至关重要的代码。二进制大对象(Blob)的迁移和磁盘存储已被重写,其他组件的工作也在积极推进中。”

文章最后,Stormacq 描绘了 AWS 对 S3 的未来规划,即扩展“超越存储服务,成为所有数据和 AI 工作负载的通用底座。”

“我们的愿景很简单:您只需将任何类型的数据一次性存储在S3中,并直接使用它,无需在专用系统之间移动数据。这种方法降低了成本,消除了复杂性,也不再需要保存同一数据的多份副本。”

* 400公里等于4,000,000,000毫米 ÷ 26毫米 = 153,846,615。假设“几乎”回到原处意味着80%,那么1.8 × 153,846,615 = 276,923,077