导语:今年是华为存储业务第十八年,这十八年来风雨兼程,从筚路蓝缕到星辰大海,华为存储见证了中国存储产业从无到有,从弱到强的发展全过程。
本文详细回忆了华为存储十八年走过的风雨历程:艰难曲折的成长过程、平凡可敬的奋斗者、扭转乾坤的重要时刻、激动人心的产品技术……
由于篇幅较长,特划分为十个小节,采用连载的形式发布,具体章节如下:
第一场自我证明
一道决定终生的选择题
独自闯荡江湖的少年
学会敬畏数据
回归是为了更好地出发
“有一个重要的任务交给你们”
用户永远都是最好的老师
简而不减的秘诀
一抹丹青色,最是匠人心
未来征途似星辰大海
不会写代码的存储架构师不是好的存储售前,华为存储人如何练就十八般武艺;匠心精神、与客户联合创新,让华为存储在分布式存储和高端存储接连突破,这其中会有哪些有趣又深刻的故事……连载(四)带你揭秘这一切!
简而不减的秘诀
从2015年开始,海内外包括金融、运营商、能源等多个行业的头部客户在与华为存储交流的过程中,都提到了分布式,用户们渴望在主数据中心的核心中部署分布式存储,让核心应用也能够享受到分布式存储的好处。
“像荷兰的一家电信公司,数据量当时都超过300PB了,非常渴望向分布式的云架构转型。”张国彬表示,“他们希望分布式可以承载数据库、虚拟机这些核心业务,也能够承载大数据、AI这些新应用。”
这些客户的需求直接促成了华为打造新一代智能分布式存储—OceanStor分布式存储。2016年,华为存储迅速集结了集中式领域和分布式领域最优秀的架构师,一起攻关如何将分布式存储和集中存储融合在一个产品之中。
“这时候华为存储平台化的战略优势就显现出来了。华为研发的大部分力量都在平台产品上,可以充分调动资源进行攻关。”张国彬透露,“这是其他公司很难去实现的,因为按照他们那种模式,投入的成本和时间极其大。”
同样经过两年多的研发,华为存储在2019年正式发布了新一代智能分布式存储-OceanStor分布式存储。华为北京、上海、深圳、成都等地的存储研发团队跨地域紧密协同,设计出一套全新的存储架构,进行了数千万行代码开发,并先后进行了近十个版本的迭代,反复打磨、优化的成果。
华为OceanStor分布式存储产品不仅实现分布式存储性能全球第一,单节点性能高端16.8万 IOPS和1毫秒以内时延,在业界标准SPC-1测试中排名第一;还首次在一套存储中实现了同时支持块、文件、对象、HDFS协议;并且,率先将人工智能技术融入到存储全生命周期管理。
在OceanStor分布式存储为用户数据中心提供一套简单却功能强大的存储背后,其实是研发团队反复打磨与优化的成果。比如,为解决性能波动的“隐形瓶颈”,华为存储研发团队动用了全球研发体系内的操作系统调度专家、网络专家,让性能波动彻底解决,实现了非ARM节点14万IOPS、ARM节点16.8万IOPS的稳定性能。
分布式存储有三大难,其一是数据不一致情况如何解决,由于数据打散在各个节点上,很容易出现数据不一致的情况,尤其是在高性能、大并发的数据读写情况下如何保持数据一致性。这需要华为存储在并发机制上做到精准无比。为此,华为存储研发团队研发出一套新的日志机制与工具,在海量数据中去追踪和查看IO异常,实现了上千个节点不同场景下的数据不一致情况检验。
其二是分布式存储功能与性能如何平衡,像重复数据删除功能对存储性能影响很大。为此,华为存储研发团队专门开发出一种加权算法,让重删功能实现自适应调整,为用户减去了过去需要不断手动配置的复杂性,呈现出极为简单的易用性。
最后则是如何防范数据丢失。通常,分布式存储所承载的应用场景是多样化和复杂化,这也直接促使了数据丢失潜在因素的增多。针对这种情况OceanStor分布式存储在只有64个字节的可靠性校验的空间容纳了30多个场景的预防方案,每个预防方案的“植入”需要精准到每个比特位,堪称手术刀般精准。
高端存储该变革啦!
这是一个真实的用户故事。
某家世界级的物流公司,一套高端存储上跑了4000台服务器,按照传统高端存储的架构,如果做系统软件升级,为防止前端多路径运行不正常,必须在升级之前将4000多台服务器的多路径检查一遍。客户每次做升级,都犹如面临世界末日般,处于崩溃边缘。
这家公司的情况真实反映出很多用户的囧境:应用越来越多、业务越来越灵活,应用环境正在快速变化,高端存储需要有能力在数据中心承载起更多的业务,过去只承载几种业务的情况已经一去不复返。
如今,高端存储该进行变革啦。有人说,科技这个行业不尊重过去,只尊重创新,你不创新就只有等死。此时的华为,在全闪存技术、高端存储架构上的积累已经完成,是时候打造出一款面向未来、满足用户数据中心极致需求的产品,让高端存储重新焕发新生机。
众所周知,闪存对于存储产业有着革命性的影响,全闪存存储被认为是大势所趋。而传统高端存储恰恰是基于传统硬盘时代的产品,哪怕后来有厂商在高端存储中加入闪存,也仅仅是一种优化的妥协选择。
全闪存,这是一条全新的赛道。在新赛道意味着你有机会实现对竞争对手的追赶,尤其是高端全闪存领域,将会是一次软硬件架构、功能堆栈的全面重塑。而华为在闪存领域已经拥有深厚的积累。
其次,华为存储在SmartMatrix高端存储架构上的经验,推动了下一代高端存储在架构上的进一步突破。华为存储开始将Scale-Up和Scale-Out进行融合,采用了模块化横向扩展、所有关键部件全解耦全共享架构,并且融入了多项智能化技术。
2019年发布OceanStor Dorado V6新一代全闪存产品
2019年7月,历时近三年的华为全新一代OceanStor Dorado V6系列产品正式亮相:拥有业界最高的2000万IOPS极致性能,业界最低0.1ms的稳定时延、控制器8坏7的极端情况依然工作、基于AI算法的全生命周期智能运维,并且可以实现故障0感知、业务0影响、升级0影响,真正保障用户业务永久在线。
如果说华为存储过去一直都算跟随的话,那么OceanStor Dorado V6产品的惊艳亮相则标志着华为存储开始引领,它是华为存储多年技术积累与创新的一次爆发,让大家看到了华为存储走出了一条不一样、具有开创性价值之路。
一抹丹青色,最是匠人心
存储产品是数据的最终目的地,除了性能和效率之外,数据可用性和持久度、产品的可靠性等要求极为严格。做存储的开发有时候就像打造一件复杂的艺术品,需要技术研发人员不断的雕琢与打磨,追求完美的状态。
“存储对于工程师的匠心文化要求很高。因为代码一不小心,可能整个盒子就崩了,会给用户带来灾难性的后果。”华为存储首席架构师黄克骥如是说。
经过长期积累,华为存储软件已经达到几千万行代码的规模,存储研发团队依然对每一行代码都是高标准的质量要求。例如,在重复数据删除与压缩领域,作为降低存储成本、提升存储效率最为有效的技术,重删压缩被认为是衡量存储产品水平的重要标志,但是重删压缩功能一旦出现问题,造成数据损坏或者丢失,其给用户带来的后果是极为严重。因此,华为对于重删压缩测试极为严格,严防有Bug遗漏,不断打磨代码,做到万无一失。
在硬件层面,华为存储有专门的可靠性团队和专业的可靠性实验室对各种硬件组件进行测试,寻找可能存在的漏洞,在可靠性方面不停的精益求精。
“华为存储研发一线有很多低调、才华横溢的人才。”黄克骥介绍到。
比如有这么一位痴迷于代码的技术大咖,融合存储文件系统是他编写的、复制核心模块是他编写的、全闪存架构核心模块是他编写的、重复数据删除模块也是他编写的,这位代码大神从华为历史上企业级到分布式核心模块都写过。“他表达方式就是代码,我们都说他是个扫地僧,普华务实的外表下藏着万丈光芒。”
“除了专注之外,华为非常看重研发人才的全栈能力。何为全栈能力,就是技能全栈化和业务全栈化。”项飞介绍道。在技能全栈化方面,华为要求开发必须懂测试,测试必须懂产品设计、后端维护,通过岗位轮换让研发人员把这些技能拉通,从而变得更加全面;又比如,在产品架构内,华为会通过让员工在不同子系统研发的方式让员工尽可能多掌握技术;此外,华为还会让研发定期去前端支持销售和后端支持服务等等。
以存储架构师为例,在华为存储有不成文的规定:架构师也需要写代码。有些架构师,从RAID 2.0功能到华为OceanStor存储Dorado系列V3、V6两代产品都是自己做架构、写代码,长期保持这种状态。以至于华为存储内部人打趣道:“不会写代码的存储架构师不是好的存储售前。”
一抹丹青色,最是匠人心——用来诠释华为存储的匠心精神再恰当不过。
未来征途似星辰大海
如今,存储产业又站在下一个变革的十字路口。
人工智能技术的不断成熟与应用,正在深刻影响着存储产业。融入人工智能技术的智能存储被认为是重要的趋势,它希望本质上解决过去存储操作、运维复杂化的情况,让存储变得更加简单化。
“智能会成为存储的基础能力。”华为数据存储与机器视觉产品线总裁周跃峰表示:“未来的存储首先需要Storage for AI,能够帮助用户更好地利用智能技术,满足像AI训练、应用的需求;其次是AI in Storage,就是将AI技术融入到存储全生命周期,让存储管理、性能、效率、维护更加出色。”
华为在智能存储的探索上一直走在业界的最前沿。华为OceanStor存储Dorado V6产品是业界首个AI加持的高端存储系统,并且在重删压缩算法、智能存储运维等方面大量运用了机器学习的方式,通过AI+智能算法实现了存储系统的智能自调优,可以让存储可以越用越好。
但智能存储依然有很长的路要走,现阶段智能存储主要是解决了故障定位与业务管理等运维优化工作,以及一些基于AI的智能Cache算法、重删压缩算法等等,让一些专业化的存储操作变成自动化。未来,存储也会类似自动驾驶那样,会根据不同的负载情况和业务场景来智能化选择相应的存储功能与技术。
除此之外,在数据成为数字经济最关键的生产要素时,存储作为数据基础设施重要的一环,依然存在着非常多的挑战。帮助企业实现数据“存得下、流得动、用得好”,需要包括华为存储在内的所有存储厂商继续探索。
“我们的征途似星辰大海,从此只顾风雨兼程。”——华为存储一直在路上。
尾记:《华为存储成人礼:我们的征途似星辰大海》四篇连载已经结束。虽是万字长文,但亦无法将华为存储十八年历程一一展示。谨以此文向中国存储产业从业者致敬,望大家不忘初心,砥砺前行!
热门跟贴