近日,AI推理部署解决方案厂商清昴智能完成了数千万元Pre-A+轮融资,本轮融资由启赋资本、达晨财智领投,老股东奇绩创坛跟投。

打开网易新闻 查看精彩图片

面对国内越来越紧缺的AI算力需求,姚航提出“我们公司的愿景是让AI触达世界每个角落,帮助AI在任何计算设备上运行得更好更快,缓解当下的算力紧缺。”

姚航是清昴智能的联合创始人及COO,而关超宇是清昴智能的另一位创始人。两位创始人都是95后,姚航硕士毕业于新加坡国立大学计算机系,关超宇硕士毕业于清华大学计算机系。

虽然成立不足两年,但是清昴智能发展速度惊人。公司推出了AI模型推理优化工具链MLGuider,和华为、AMD、联想等业内领军企业开展了多方位的合作。据公开信息显示,清昴智能先后已获得了四轮融资,此前三轮的投资方包括奇绩创坛、绿洲资本及华为战投。

“张江的创业生态非常完善,是一块极其难得的创业乐土”。最近,张通社走进位于浦东软件园的清昴智能办公室,和姚航展开了一次对话,他向记者热情洋溢地介绍了为释放国产算力,清昴智能正在做出的努力。

打开网易新闻 查看精彩图片

清昴智能联合创始人/COO 姚航

01

95后学霸创业

突破中国AI算力瓶颈

姚航是一位95后,也是一位学霸。在上海交通大学计算机系就读4年的时光,他不但需要克服学业的重重挑战,还要承担起班长的职责。“我从初中开始就一直担任班长,交大班里的同学来自五湖四海,我需要经常组织各种活动把同学联系起来,成了衔接同学之间,同学和老师之间的桥梁”。本科毕业后,他选择到新加坡国立大学继续攻读计算机硕士学位,随后入职华为做国产芯片适配工作。

在青春飞扬的本科生涯里,他认识了“未来的创业合伙人”——关超宇。关超宇是姚航的同班同学,“在学习、比赛、班级事务上我俩都有很好的配合,很快就成了亲密的好朋友。”

关超宇出生于1999年,他从交大计算机系毕业后,保送清华大学计算机系学习。他曾是清华大学最年轻的研究生特等奖得主,是世界首个自动图学习库AutoGL的首席架构师(GitHub 800+星标),并带队获得过多次国际自动机器学习顶级赛事冠军。

“AI正在彻底重塑整个社会,我们曾对中国AI产业链进行调研,每一环节都蕴藏着巨大的机会”。作为计算机科班出身的姚航和关超宇,他们长期追踪着AI技术的发展轨迹,渴望创造一番事业的他们,经过深思熟虑,决定在最熟悉的AI模型推理与部署优化赛道切入,发挥自己的最大价值。

2022年10月,清昴智能科技(北京)有限公司(简称“清昴智能”)成立,关超宇担任CEO,姚航担任COO。年末Chat GPT横空问世,全世界都为它感到震惊。然而,中国AI大模型的发展面临着算力的“瓶颈”,被外国“卡住”了芯片的脖子,如何打破“瓶颈”成了当务之急。

打开网易新闻 查看精彩图片

姚航在上海张江参加浦软创业营

而打破算力瓶颈,正是清昴智能一直努力的方向,清昴智能的AI模型推理部署优化技术,发挥出的价值变得越来越大。基于自身的技术积累,清昴智能发布了MLGuider——大模型推理部署加速工具库,能够大幅优化模型的推理和部署环节,降低AI模型的使用门槛,致力于解决AIGC、自动驾驶、AIoT等领域复杂AI模型的落地难、性能差、资源耗费高等问题,从而打破当前中国面临的算力瓶颈。

02

释放国产芯片100%算力

让AI大模型触达世界各个角落

随着AI大模型的参数量的指数式增长,上百亿上千亿参数量的AI大模型“遍地开花”,但全球只有英伟达能够支撑如此庞大的算力需要,AI算力“供不应求”。据统计,按照单张英伟达A100所提供的算力计算,全球的AI推理算力需求将从2023年的264万张A100,飞升至2027年的1.1亿张A100,年均增长150%。

在技术封锁和芯片断供等情况下,国内AI算力需求更加紧缺,发生了“算力荒”,而清昴智能就要打破这一现状。

“清昴智能在做的事情,就是去适配和优化所有国产芯片,将它们的算力尽可能100%地释放出来,能够无限接近硬件的峰值性能,缓解当下的算力紧缺问题。我们的长远目标是让AI能够在任何硬件环境下运行,让AI能够触达全球各个地方、各个硬件、各个角落,使得AI赋能各行各业,促进人类进步”,姚航表示。

2023年初,为了做好技术的可行性验证,清昴智能团队率先在AMD卡上做“试验”,并取得了成功。“原来,用AMD卡去运行AI大模型的效果,和英伟达A100比起来,效果不佳,主要表现在它对大模型的支持程度较低,客户迁移成本高且运行效率低”,姚航讲道。通过对AMD MI200的多次优化和调试,多场景下运行大模型的推理性能对标甚至超过英伟达A100的Pytorch方案。

概念验证的成功,给了清昴智能团队莫大的信心。团队决定继续推进这项工作,接下来是一项艰巨的任务:让产品适配当前所有的国产芯片,从而让AI大模型能够更好地运行在国产卡上。“我们希望将现有模型在国产卡的推理速度提升2-10倍,并适配当前主流的AI框架,降低用户迁移成本,实现多个国产品牌芯片的统一部署和推理。”

这项任务的挑战在于,每一家国产厂商都有着不同的底层架构、计算方式、计算特点等差异,都需要清昴智能团队进行单独适配。

不过,对于团队来说,这是一件必须要完成的任务,因为这是公司使命的一部分。团队深入芯片底层技术架构,联合模型、分布式、编译等多种优化方式,并和一家家芯片原厂进行深度洽谈,进而完成针对每一家芯片原厂的适配工作。

随着工作深入,姚航惊喜地发现“虽然单项工作的工作量非常大,但是我们逐渐发现边际成本在降低。”经过将近一年的时间,团队几乎完成了所有国产显卡的适配工作,其中包括寒武纪、沐曦、昆仑芯、海光、燧原、华为昇腾等等。

打开网易新闻 查看精彩图片

清昴智能适配的芯片品牌(部分)

除了国产卡,清昴智能还成功适配了瑞芯微、算能等边端芯片,以及英伟达、AMD、高通等国际头部大厂。

以国产昇腾卡为例,团队发布了MLGuider-Ascend工具链,针对华为昇腾原生的AIGC端到端推理框架,解决了AIGC大模型在昇腾落地过程中的模型-算力不匹配、技术栈复杂、迁移与优化成本高等一系列问题。

与此同时,清昴智能还顺利完成了对上万张显卡进行联合优化的挑战,验证了公司技术在大规模显卡集群上应用的市场需求和技术可行性。“2023年初,拥有上万张国产GPU卡的某超算中心找到了我们,优化上万张显卡的难度远远高于优化单张显卡,但是经过数月奋战,成功将该超算中心的计算效率提升了数倍。”

成立不到两年的时间,清昴智能就成功从提升单卡的效能,发展至提升多卡的整体效能,同时实现了巨大用户规模情况下的高并发高稳定性,业务发展迅猛。这足以证明清昴智能在工程实践上的卓越能力,也代表着清昴智能的快速迭代能力。目前,它正进入快速商业化阶段。

03

助力打造“一云多芯”

商业化进程直线加速

虽然公司成立时间不久,但是清昴智能的发展节奏非常快,其产品已经进入商业化加速阶段。

目前,清昴智能已经和多地智算中心展开深度合作。“先进国产智算中心会配置不同的算力芯片,需要跨硬件的异构管理能力,并提供对外的统一算力服务。”姚航解释道,“在这种‘一云多芯’的智算中心,我们的MLGuilder方案能够适配不同芯片,并同时满足智算中心的上述需要,成为模型层和硬件层的枢纽平台,帮助客户快速而低迁移成本地使用国产算力,同时保证算力的高性能。”

除了上述算力集群客户,清昴智能还能为企业提供大模型解决方案。“对于大模型相关的解决方案,我们可以提供平替英伟达方案的高性能软硬件一体机和国产一体机,助力大模型在企业私有化本地部署落地,保护企业数据安全,同时实现本地算力集群的管理和运维。”

2024年初,AIPC的趋势已然确立,AI与个人硬件及操作系统进行更深度的集成是大势所趋。

在AIPC方面,清昴智能找到了自身的机会点。“对于AI终端设备商,我们的服务也能帮助个人电脑更好地运行大模型。”当前,清昴智能已经和AMD、联想等企业开展合作,实现了AI大模型端侧的高性能部署,提升了AIPC的用户体验。

打开网易新闻 查看精彩图片

清昴智能和AMD合作,助力AI大模型在端侧高性能部署

即使核心创始团队都是95后,但是他们都对企业发展的节奏有着深刻的关注和理解。“近期重点工作是将公司的核心技术和内外资源进行深度整合,努力打通产品的商业闭环,树立多个标杆案例,助力让AI在各种各样的场景中运行得更高效,更容易!”