近期,任正非在与ICPC(国际大学生程序设计竞赛)基金会谈话中表示,我们即将进入第四次工业革命,基础就是大算力。
孟晚舟在华为全联接大会公开演讲中提到不容忽视的信息点:“突破算力瓶颈”、“构建第二选择”。
可见华为对于AI算力的重视程度非常之高。
假期期间我梳理了华为算力产业链,今天先简要分享下我对昇腾的几点理解。
一,昇腾生态究竟是什么?
狭义来说,华为昇腾是指华为发布的两款人工智能处理器芯片,一个是昇腾310用于推理,另一个是910用于训练业务。
广义来说,华为昇腾是指整个昇腾计算架构,包括硬件、基础软件、应用使能与行业应用及服务等四层。
也就是说,昇腾计算产业以昇腾AI处理器为核心,通过系列硬件和基础软件构建全栈AI计算基础设施,为各行各业赋能。
在硬件方面,包括模块、标卡、小站、服务器、集群等产品形态;在软件层面,包括异构计算架构、AI框架、应用使能、全流程开发工具链等产品。
昇腾 AI 应用开发过程:以芯片及处理器等硬件为基础,CANN(异构计算框架)承接硬件与计算框架,搭配自有开发与管理工具,联接应用使能以投入具体行业应用。
具体来说:
1,硬件:AI体系的基础,提供强大计算能力
1.1芯片
主要是指:
昇腾310处理器:本质上是人工智能片上系统,昇腾 310 整数精度(INT8)算力可达 16TOPS,主要应用于边缘计算产品和移动端设备等低功耗的领域,目前已经大量用于自动驾驶领域。
昇腾910处理器:整数精度(INT8)算力可达 640TOPS,在业内其算力处于领先水平,性能水平接近于英伟达A100。主要应用于云端,可以为深度学习的训练算法提供强大算力。功耗只有310W,同时采用了7nm先进工艺进程,支持128通道全高清视频解码。
1.2 服务器
昇腾AI服务器具有超强算力,适用于中心侧AI推理以及深度学习模型开发和训练场景。包括1)Atlas 800 推理服务器(型号:3000)2)Atlas 800 推理服务器(型号:3010)3)Atlas 800 训练服务器(型号:9000)4)Atlas 800训练服务器(型号:9010)5)Atals 800T A2训练服务器6)Atlas 500 Pro 智能边缘服务器。
1.3 标卡
华为昇腾超强算力推理+训练标卡。
训练及推理标卡融合“通用处理器、AI Core、编解码”于一体,需要安装到服务器上,通过服务器提供运算和模型,为数据中心提供强劲算力。
1)推理卡:包括Atlas 300V 视频解析卡、Atlas 300V Pro 视频解析卡、Atlas 300I Pro 推理卡、Atlas 300I Duo 推理卡。其中,Atlas 300I Duo 推理卡在配置下可以输出整数精度(INT8)达到280TOPS,半精度(FP16)算力达到140TOPS。
2)训练卡:主要以Atlas 300T Pro 训练卡(型号:9000)、Atlas 300T A2 训练卡为主,可广泛应用于智慧城市、智慧交通、智慧园区、智慧金融等诸多AI行业场景。
1.4 训练集群
华为昇腾面向人工智能计算中心等重算力场景,构筑性能领先的训练集群,目前主要包含Atlas 900 PoD(型号:9000)、Atlas 900 A2 PoD、Atlas 900 AI集群三种产品,广泛应用于深度学习模型开发和训练。
1.5 其他
其他华为昇腾超高算力集成产品包括:
Atlas 200I DK A2 开发者套件,是一款高性能的 AI 开发者套件,4 核 CPU,可提供 8TOPS INT8 的计算能力,可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机器人、无人机等场景。
Atlas 500 A2 智能小站是面向边缘应用的产品,具有环境适应性强、超强计算性能、云边协同等特点,可以在边缘环境广泛部署,满足在交通、社区、园区、商场、超市等复杂环境区域的应用需求。
2,软件:释放硬件性能,推动AI生态繁荣
针对AI场景,华为设计了异构计算架构CANN、AI计算框架MindSpore和第三方适配以及全流程开发工具链MindStudio。
2.1 CANN
异构计算架构(CANN)是功能类似于英伟达CUDA+ CuDNN 的核心软件层。CANN位于计算资源层和应用层之间,即芯片使能层,实现了在高性能计算硬件和AI应用之间架起一座桥梁。
CANN包括引擎、编译器、执行器、算子库等,承载计算机的单元为 AI 芯片。
异构计算架构主要负责调度分配计算到对应的硬件上。
从层级来看,CANN 上承 AI 框架,下接 AI 处理器硬件,先进的异构架构使得神经网络执行过程的硬件交互时间有效缩短,从而实现对硬件性能的进一步利用。
2.2MindSpore
在 CANN 的基础之上,昇腾提供了昇思深度学习框架MindSpore。作为支持云、边、端灵活部署的深度学习框架,于2020年正式开源,和TensorFlow、PyTorch、飞桨等框架共同为人工智能领域发力。
MindSpore旨在实现易开发、高效执行、全场景覆盖三大目标。兼旨在实现易开发、高效执行、全场景覆盖三大目标。
在人工智能框架使用率方面,TensorFlow、PyTorch、昇思MindSpore和飞桨合计占了86%的市场份额,其中,MindSpore以11%的占比在全球框架里排名第三,逆势进入了AI框架的第一梯队。
2.3MindStudio
华为还提供了全流程开发的工具链MindStudio。开发者可以利用MindStudio提供的简单易用的开发工具,高效地完成端到端开发,让开发者能够在安装部署、模型训练、模型推理、算子开发、应用开发、调试调优和应用部署全流程中一站式完成,无需切换不同的工具,从而显著降低了开发门槛。
MindStudio支持训练、推理场景。1)训练场景:MindStudio(昇腾训练加速工具)利用独有的算法,使训练速度提升25%。2)推理场景:MindStudio(昇腾模型压缩工具)利用独有的智能算法,加速推理进程,可大致提速47%。
二,华为昇腾的五类合作伙伴
昇腾生态伙伴包含:整机硬件伙伴、IHV硬件伙伴、应用软件伙伴、一体机解决方案伙伴以及生态运营伙伴五大类。
其中,整机硬件伙伴有13家、IHV硬件伙伴有6家、软件伙伴大约1200家,以萨技术是其一体机解决方案伙伴,极视角科技以及中软国际是其生态运营伙伴。
1、整机硬件伙伴
在昇腾计算整机硬件的产品方面,华为通过包括宝德、华鲲振宇、神州数码等众多主流的厂商合作,内容主要涵盖服务器,共同打造适应产业发展的产品。
2、IHV硬件伙伴
凌华科技、研扬科技、研华科技、飞途、东声智能、全爱科技6大公司成为IHV硬件伙伴。该合作伙伴基于华为昇腾部件进行二次开发,形成自有品牌硬件产品并进行销售。
3,应用软件伙伴:
对接昇腾服务器、智能小站、集群、加速模块和卡以及MindSpore等产品,华为昇腾应用软件伙伴开发、销售自有知识产权的应用程序、软件、垂直细分应用等产品。该合作伙伴属于数字政府和制造行业的居多。
4,一体机解决方案伙伴
以萨技术成为华为昇腾唯一的一体机解决方案伙伴,基于昇腾系列的产品,打造了以萨智慧交通和以萨智慧交通两大解决方案。
5,生态运营伙伴
华为昇腾和极视角科技以及中软国际达成合作。其中,极视角通过昇腾产品构建了“智慧城市”解决方案,具有部署方便、一键式安装、一站式管理和数据不外泄功能;而中软国际年蝉联中国软件和信息服务综合竞争力百强企业前15位,致力于昇腾算力企业合作、方案构建、算力运营等领域。
三,昇腾当前有哪些不足?
当前昇腾需求的爆发式增长动力主要来自1)AI算力行业自身的快速增长;2)国内自主可控的替代,比如说国家级别的人工智能计算中心,大部分开始会采用昇腾。
当相比于英伟达目前也有不少核心问题:
1,昇腾只能用于华为自身生态中的大模型业务,比如昇腾不能做GPT-3,因为910不支持32位浮点,而目前大模型训练几乎都要使用32位的浮点,所以昇腾芯片只能利用华为开发的框架(如MindSpore),再加上优化好的大模型,比如盘古CV。
2,生态依然需要完善。英伟达最强大的护城河在于它的生态系统CUDA。目前CANN还有差距。
3,先进制程的卡脖子问题得到了一定解决,但依然需要担忧产能问题。
四,出货情况
预计今年出货量40万颗,310卡占90%,910占比10%。现在每年昇腾40万颗,明年预计出货在2倍多。
整体上来说,910卡换成服务器在1万多台,910满配,终端标价110-120万,预计终端是80- 90万左右,不会超过90万,今年在90亿左右,明年翻倍180亿。
五,未来主要关注事项
1.华为不断更新昇腾910的适配范围和软件;
2,国产7nm制程开始有更多事实做支撑;
3,如果美国开始禁止H800和A800,,昇腾起量可能也会比较快。
参考资料:
民生证券《华为昇腾深度:国产AI算力“扛旗者”》
热门跟贴