关注我们 - 数字罗塞塔计划 -

我们一般接触到的存储载体是机械硬盘HDD或固态硬盘SSD,其实HDD和SSD主要是针对经常访问的热数据存储处理的,而磁带、蓝光光盘等载体则常用于温、冷数据的存储,比如 Facebook(已于2021年10月改名Meta,由于本项目是在改名之前实施的,依然沿用Facebook的公司名称)数据中心就采用了蓝光存储。

Facebook

Analyse

1、世界上最大的图片分享网站

Facebook是世界上最大的图片分享网站,保存了数目庞大的照片数据:

01、2013年活跃用户的数量达到11.5亿人,每天上传照片数量超过3.5亿张。

02、2015年活跃用户的数量超过15亿人,单日使用量突破10亿人次。

03、据2016年的统计数据累计上传照片数量就已经超过8000亿张。

04、对于每张照片,Facebook存储大小不同的四个版本(在某些场景下只需展示缩略图),这意味着:Facebook服务器上存储着3.2万亿张照片。

2、社交网站图片访问频率

下图是社交网站图片的访问频率随时间的变化趋势,刚上传后访问频率最高,后面逐渐降低,一年后就成了偶尔访问(即所谓的数据从热变冷)。存储载体也是分级存储,从全闪存、SSD到HDD、光盘

01、Facebook搭建了Hadoop大数据平台来保存海量图像数据,用于满足用户实时访问图片的要求,这些数据保存在SSD或者HDD上。

02、作为Hadoop发生故障时的候补,在光存储系统上存储Hadoop的备份。

03、为了提升备份效率,使用里德-所罗门(Reed Solomon)编码方式在光盘上分散存储。

3、Facebook选择蓝光光盘

综合考虑成本、能耗等方面的因素,Facebook最终采用了蓝光光盘作为冷数据存储载体:

01、用户照片等数据需要长期保存,SSD、HDD载体成本高、寿命短。

02、与硬盘相比整体成本削减50%以上(成本包括:设备成本、能耗成本、网络成本、机房成本、人员成本、运营成本)。

03、耗电量降低80%以上:光盘库工作功耗远低于硬盘存储系统,不需要大量空调冷却系统。

04、可以去掉数据中心内的冗余设计:2套系统供电、2套UPS、自备电源、2套回路等等,数据中心大幅降低成本。

4、Facebook异地备份方案

01、在冷存储更新频度低的前提下,地理上分离的多个场所间进行数据容灾备份。

02、以冷数据为对象搭载异地备份(Geo Replication)功能。

03、通过数据中心间的容灾功能,可以去掉数据中心内的冗余

04、Facebook已在Prineville的Forest City进行商用,Google已在Spanner上实现异地备份,实现高可用性的同时降低能耗。

蓝光存储的发展与未来

Development And Future

先看看蓝光存储技术路线图,2023年单盘可以到几TB容量。

※ 未来的光存储技术

01、全息光存储技术:

美国InPhase(1.6TB/盘) 、日本日立(日立2TB-8TB/盘)、日本NHK。

02、双光束超分辨技术:

实验装置水平可实现单盘15TB容量;最新实验结果:9nm特征尺寸理论上可达单盘1PB。

03、多维玻璃存储技术:

英国南开普敦大学采用纳米晶玻璃材质的5D光盘,实现容量369TB/disc,存储寿命可超过亿年,实现永久存储。

总结

SUMMARY

Facebook 蓝光存储数据中心的节能总结:

1、蓝光存储载体工作功耗低、耗电量降低80%以上。

2、不需要大量空调冷却系统。

3、通过数据中心间的容灾功能,去掉数据中心内的冗余(2套系统供电、2套UPS、自备电源、2套回路等等)。

平均PUE≤1.12,建成真正的数据中心绿色机房,符合发改高技[2021]1742号《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》要求。

数字资源存储载体是数字罗塞塔项目的重要研究内容。数字罗塞塔计划是由杨安荣博士联合国内知名投资机构发起的一项利用蓝光存储、数字胶片、玻璃存储等技术,旨在解决电子档案乃至数字资源长期保存的国产化替代科技攻关工程项目,以实现“保存社会记忆,传承人类文明”的最终目标。

关注我们 - 数字罗塞塔计划 -