近期,任正非在与ICPC(国际大学生程序设计竞赛)基金会谈话中表示,我们即将进入第四次工业革命基础就是大算力

孟晚舟在华为全联接大会公开演讲中提到不容忽视的信息点:“突破算力瓶颈”、“构建第二选择”。

可见华为对于AI算力的重视程度非常之高。

假期期间我梳理了华为算力产业链,今天先简要分享下我对昇腾的几点理解。

昇腾生态究竟是什么

狭义来说,华为昇腾是指华为发布的两款人工智能处理器芯片,一个是昇腾310用于推理另一个是910用于训练业务

广义来说,华为昇腾是指整个昇腾计算架构,包括硬件基础软件应用使能与行业应用及服务等四层

也就是说,昇腾计算产业以昇腾AI处理器为核心,通过系列硬件和基础软件构建全栈AI计算基础设施,为各行各业赋能。

在硬件方面,包括模块、标卡、小站、服务器、集群等产品形态;在软件层面,包括异构计算架构、AI框架、应用使能、全流程开发工具链等产品。

昇腾 AI 应用开发过程:以芯片及处理器等硬件为基础,CANN(异构计算框架)承接硬件与计算框架,搭配自有开发与管理工具,联接应用使能以投入具体行业应用。

具体来说

1,硬件AI体系的基础提供强大计算能力

1.1芯片

主要是指

昇腾310处理器本质上是人工智能片上系统,昇腾 310 整数精度(INT8)算力可达 16TOPS,主要应用于边缘计算产品和移动端设备等低功耗的领域,目前已经大量用于自动驾驶领域。

昇腾910处理器整数精度(INT8)算力可达 640TOPS,在业内其算力处于领先水平,性能水平接近于英伟达A100。主要应用于云端,可以为深度学习的训练算法提供强大算力。功耗只有310W,同时采用了7nm先进工艺进程,支持128通道全高清视频解码。

1.2 服务器

昇腾AI服务器具有超强算力,适用于中心侧AI推理以及深度学习模型开发和训练场景。包括1Atlas 800 推理服务器型号30002Atlas 800 推理服务器型号30103Atlas 800 训练服务器型号90004Atlas 800训练服务器型号90105Atals 800T A2训练服务器6Atlas 500 Pro 智能边缘服务器

1.3 标卡

华为昇腾超强算力推理+训练标卡

训练及推理标卡融合“通用处理器、AI Core、编解码”于一体,需要安装到服务器上,通过服务器提供运算和模型,为数据中心提供强劲算力。

1推理卡包括Atlas 300V 视频解析卡、Atlas 300V Pro 视频解析卡、Atlas 300I Pro 推理卡、Atlas 300I Duo 推理卡。其中,Atlas 300I Duo 推理卡在配置下可以输出整数精度(INT8)达到280TOPS,半精度(FP16)算力达到140TOPS。

2训练卡主要以Atlas 300T Pro 训练卡(型号:9000)、Atlas 300T A2 训练卡为主,可广泛应用于智慧城市、智慧交通、智慧园区、智慧金融等诸多AI行业场景。

1.4 训练集群

华为昇腾面向人工智能计算中心等重算力场景,构筑性能领先的训练集群,目前主要包含Atlas 900 PoD型号9000)、Atlas 900 A2 PoDAtlas 900 AI集群三种产品,广泛应用于深度学习模型开发和训练。

1.5 其他

其他华为昇腾超高算力集成产品包括

Atlas 200I DK A2 开发者套件,是一款高性能的 AI 开发者套件,4 核 CPU,可提供 8TOPS INT8 的计算能力,可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机器人、无人机等场景。

Atlas 500 A2 智能小站是面向边缘应用的产品,具有环境适应性强、超强计算性能、云边协同等特点,可以在边缘环境广泛部署,满足在交通、社区、园区、商场、超市等复杂环境区域的应用需求。

2软件释放硬件性能推动AI生态繁荣

针对AI场景,华为设计了异构计算架构CANN、AI计算框架MindSpore和第三方适配以及全流程开发工具链MindStudio。

2.1 CANN

异构计算架构CANN是功能类似于英伟达CUDA+ CuDNN 的核心软件层CANN位于计算资源层和应用层之间,即芯片使能层,实现了在高性能计算硬件和AI应用之间架起一座桥梁。

CANN包括引擎、编译器、执行器、算子库等,承载计算机的单元为 AI 芯片。

异构计算架构主要负责调度分配计算到对应的硬件上

从层级来看,CANN 上承 AI 框架,下接 AI 处理器硬件,先进的异构架构使得神经网络执行过程的硬件交互时间有效缩短,从而实现对硬件性能的进一步利用。

2.2MindSpore

在 CANN 的基础之上,昇腾提供了昇思深度学习框架MindSpore作为支持云端灵活部署的深度学习框架2020年正式开源,和TensorFlow、PyTorch、飞桨等框架共同为人工智能领域发力。

MindSpore旨在实现易开发高效执行全场景覆盖三大目标。兼旨在实现易开发、高效执行、全场景覆盖三大目标。

在人工智能框架使用率方面TensorFlowPyTorch昇思MindSpore和飞桨合计占了86%的市场份额其中MindSpore以11%的占比在全球框架里排名第三逆势进入了AI框架的第一梯队

2.3MindStudio

华为还提供了全流程开发的工具链MindStudio开发者可以利用MindStudio提供的简单易用的开发工具,高效地完成端到端开发,让开发者能够在安装部署、模型训练、模型推理、算子开发、应用开发、调试调优和应用部署全流程中一站式完成,无需切换不同的工具,从而显著降低了开发门槛。

MindStudio支持训练、推理场景。1训练场景MindStudio(昇腾训练加速工具)利用独有的算法,使训练速度提升25%。2推理场景MindStudio(昇腾模型压缩工具)利用独有的智能算法,加速推理进程,可大致提速47%。

华为昇腾的五类合作伙伴

昇腾生态伙伴包含:整机硬件伙伴、IHV硬件伙伴、应用软件伙伴、一体机解决方案伙伴以及生态运营伙伴五大类。

其中,整机硬件伙伴有13家、IHV硬件伙伴有6家、软件伙伴大约1200家,以萨技术是其一体机解决方案伙伴,极视角科技以及中软国际是其生态运营伙伴。

1整机硬件伙伴

在昇腾计算整机硬件的产品方面,华为通过包括宝德华鲲振宇神州数码等众多主流的厂商合作,内容主要涵盖服务器,共同打造适应产业发展的产品。

2IHV硬件伙伴

凌华科技、研扬科技、研华科技、飞途、东声智能、全爱科技6大公司成为IHV硬件伙伴。该合作伙伴基于华为昇腾部件进行二次开发,形成自有品牌硬件产品并进行销售。

3,应用软件伙伴

对接昇腾服务器、智能小站、集群、加速模块和卡以及MindSpore等产品,华为昇腾应用软件伙伴开发、销售自有知识产权的应用程序、软件、垂直细分应用等产品。该合作伙伴属于数字政府和制造行业的居多。

4一体机解决方案伙伴

以萨技术成为华为昇腾唯一的一体机解决方案伙伴,基于昇腾系列的产品,打造了以萨智慧交通和以萨智慧交通两大解决方案。

5生态运营伙伴

华为昇腾和极视角科技以及中软国际达成合作。其中,极视角通过昇腾产品构建了“智慧城市”解决方案,具有部署方便、一键式安装、一站式管理和数据不外泄功能;而中软国际年蝉联中国软件和信息服务综合竞争力百强企业前15位,致力于昇腾算力企业合作、方案构建、算力运营等领域。

昇腾当前有哪些不足

当前昇腾需求的爆发式增长动力主要来自1)AI算力行业自身的快速增长2国内自主可控的替代,比如说国家级别的人工智能计算中心,大部分开始会采用昇腾。

当相比于英伟达目前也有不少核心问题:

1昇腾只能用于华为自身生态中的大模型业务比如昇腾不能做GPT-3因为910不支持32位浮点而目前大模型训练几乎都要使用32位的浮点,所以昇腾芯片只能利用华为开发的框架(如MindSpore),再加上优化好的大模型,比如盘古CV。

2,生态依然需要完善。英伟达最强大的护城河在于它的生态系统CUDA。目前CANN还有差距。

3,先进制程的卡脖子问题得到了一定解决,但依然需要担忧产能问题。

出货情况

预计今年出货量40万颗,310卡占90%,910占比10%。现在每年昇腾40万颗,明年预计出货在2倍多。

整体上来说,910卡换成服务器在1万多台,910满配,终端标价110-120万,预计终端是80- 90万左右,不会超过90万,今年在90亿左右,明年翻倍180亿。

未来主要关注事项

1.华为不断更新昇腾910的适配范围和软件

2国产7nm制程开始有更多事实做支撑

3如果美国开始禁止H800和A800,昇腾起量可能也会比较快

参考资料

民生证券《华为昇腾深度:国产AI算力“扛旗者”》