面向长尾场景，“深目”AI模盒是如何做到零学习成本、秒速训练的？

作者 | 刘路遥

编辑 | 余快

过去一年，大模型如燎原之火，迅速席卷了人工智能领域的每一个角落，以其规模和深度，重新定义人工智能的边界。

这场技术的盛宴中，AI的新老玩家们都渴望利用崭新的AI之钥，打开人工智能应用更辽阔的未来之门。

然而，伴随这一颠覆性机遇的到来，行业也面临大型模型发展早期的挑战，即模型层与应用层整合之间的鸿沟：以大模型为核心的AI技术应用，虽具有切实降本增效的前景，但大多数企业难以负担训练专属大模型的成本。

由于大量长尾场景缺乏高性价比的解决方案，AI普惠化也更多停留在口号层面。

一边是AI企业面临技术转化困难、商业化挑战，一边是中小企业客户需求未得到充分满足，在这样的背景下，云天励飞提出大模型“平民化”的目标，推出“深目”AI模盒，旨在将大模型变成人人可用的产品，从而解决人工智能落地的最后一公里难题。

解决最后一公里问题包含两个核心，如何通过技术上的创新生产出一款低成本的产品，以及如何在数据缺乏的情况下，仍能保证算法的精度。

大模型通往落地的一个公式

GPT-4发布已一周年，AI领域在过去一年的成果已然超越过去十年的积累。

在云天励飞AI大模型产品发布会上，CEO陈宁博士表示：未来3年，全球80%的企业都将运行在大模型之上。

经过上一波人工智能浪潮的洗礼，在人脸识别、车牌识别等头部算法问题上，已经形成了较为成熟的解决方案。但是，大量低频的长尾算法并没有得到很好的解决，成为制约人工智能赋能千行百业的问题所在。

大模型出现以前，对于AI公司来说，每个小模型的长尾算法与头部算法在投入成本和周期上相当，都需要强大的算力、高效的算法支持及大量的算法工程师，投入产出比极不匹配，绝大多数企业也都不会为如此高昂的成本买单。

大模型出现后，技术底座焕然一新，带来了高性价比解决各类长尾问题的机会。

但是，积极拥抱和布局大模型，并没有想象中那么容易。

本质上，大模型由算力、算法、数据三者共同构成，谁能更好地整合三方面能力，提供更低成本、更高效率的产品，才是竞争的关键点。

因此，大模型的技术转化能力，实际是对AI公司综合实力的考验，能够脱颖而出的企业属于少数。

云天励飞在“算法芯片化”的核心能力下，基于自研多模态大模型和自研芯片的深度融合，做到了将大模型塞进一个小盒子中。

这个小盒子不仅具有物理上的紧凑性，用单手就可以托举起；还具有技术上的紧凑性，实现了模型的精简和高效化。据介绍，“深目”AI模盒可以做到“3个90%”——覆盖场景超过90%、算法精度超过90%，使用成本降低90%。

要做到这一点，需要直面一系列的技术挑战，包括如何在边缘侧完成大模型高性能的推理、高效的训练，如何在内存、计算精度都受限的情况下提升精度等。

那么，云天励飞是如何将大模型塞进千元级的小盒子中的？

“能够实现3个90%，离不开云天励飞的核心能力——算法芯片化。”陈宁博士说。

围绕“算法芯片化”，云天励飞用时一年，进行了两大技术攻关：一是自研多模态大模型“云天天书”，二是自研大模型推理芯片DeepEdge10。

“深目”AI模盒的算力基础，来源于去年云天励飞推出的14nm Chiplet 大模型推理芯片DeepEdge10。

这款芯片采用自主可控的国产工艺，内含国产 RISC-V 核，支持大模型推理部署。依托其创新的D2D Chiplet 架构打造的推理卡，已适配并可承载SAM CV 大模型、Llama2等百亿级大模型运算，可广泛应用于 AloT 边缘视频、移动机器人等场景。

云天励飞首席科学家肖嵘博士进一步补充道：“芯片设计时，考虑到模型参数上升会带来效果上的改进，我们设计了Chiplet；其次改进了算法，用低成本的INT8和FP16替代FP16和FP32，只把模型1%的计算放在FP32上，使运行成本大幅下降；模型训练的基础、模型的结构也做了颠覆性改变，空间占用更小。”

这些技术突破，使得云天励飞可以通过算法和芯片一体化设计，将芯片设计成本做得很低。

“深目”AI模盒的大模型能力，则来源于云天励飞自主研发的多模态大横型“云天天书”。

云天天书大模型包含语言大模型、多模态大模型等不同系列，在C-Eval、CMMLU等权威测试中多次获得第一名，并于去年正式通过中央网信办备案。云天天书1.0版本于2023年初正式推出，已完成3个版本的迭代，预计今年6月将迭代4.0版本。

以云天天书为底座，云天励飞与生态合作伙伴完成预训练长尾算法，再将预训练算法提供给广大中小企业用户。

由于大模型具备泛化和算法边缘侧在线学习能力，部署算法后，大模型还能够根据现实应用场景情况，在线学习、优化算法，不断提升算法精度，帮助客户在边缘端完成算法微调，训练出可实战应用的算法。

简单理解，云天励飞不仅将大模型塞进了盒子中，并且还能在限定条件下，根据实际情况用少量数据做微调，最终实现效果的提升。

对于云天励飞来说，这款“压缩”了大模型和芯片能力的全新产品，是通过算法芯片化能力平台，实现大模型“硬件化”的一次重要尝试。

在边缘计算的趋势下，未来云天励飞将继续朝着内存更小、算力更小、性价比更高的方向不断改进和更新产品。

让长尾场景客户轻松使用AI

大模型赋能的数据处理产品之所以备受瞩目，在于它们具备人类般的思维能力，以及媲美人类的逻辑推理能力。

但对于使用者来说，重要的不是技术层面深目盒子积累了多么深厚的底蕴，而是应用层面产品是否足够简单易用。

一款能直击客户痛点问题的大模型产品，一定是技术创新与产品体验双轮驱动的产物。

“深目”AI模盒正是这样一款零学习成本，真正做到长尾算法秒速训练的产品。

城市治理是一个典型的碎片化场景，由于各个城市的需求不一样，因此可能存在上百种场景算法，很难寻求一种放之四海而皆准的解决方案，一劳永逸地解决所有场景问题。

不仅如此，以往针对具体场景的微调，都需要将数据收集好，重新带回实验室，经过清洗、标注、训练、发布全流程后，再返回现场部署，周期十分漫长。

云天励飞通过将这一过程拆解为两个步骤，将原来几个月的落地周期压缩到了一两周。

第一步，训练边缘大模型。目前云天励飞与生态合作伙伴，已在算法训练平台上搭建了覆盖14个大类、100+个小类、千余种算法的预训练算法仓库； 第二步，在“深目”AI模盒上引入微调，实现边缘端的自学习、自进化。

这意味着，用户也只需通过两步极简的交互，就能获得一个高性价比的、聪明的专属大模型。

第一步，直接调用云天励飞的预训练算法，利用平台基础数据集，完成算法的初步训练； 第二步，上传自身场景图片，直接在现场完成算法的微调和升级，快速训练出高精度算法。

长尾场景最大的痛点在于样本数据少，但一旦用户使用了云天励飞的“深目”AI模盒，这个问题便能迎刃而解。

针对数据少的情况，云天励飞副总裁罗忆用城市治理中的店外经营和游摊小贩场景举例，“只需要上传五张场景照片，进行简单标注，就能将初步训练的算法精度从76%提升到95%。”

针对数据几乎空白的情况，如加油站场景的吸烟识别，可以用AIGC生成在该环境抽烟的人，这样既能填补训练数据的空白，又能规避隐私安全等问题。

除此之外，在云天励飞的算法训练平台上，借助大模型的泛化能力，还能解决识别对象标准不统一带来的算法训练难题。

不过，想要用少量数据产生很好的效果，还有一个重要的大前提，即培育一个良好的生态。

站在数据角度，当下国内的互联网数据、文本数据、视频数据已几乎被挖掘殆尽，与此同时行业数据又不公开，想要获取高质量数据，AI公司就需要团结行业伙伴、高校院所和头部企业，前者提供技术，后者提供数据，共创行业大模型。

站在渠道角度，云天励飞虽然提供了一个技术平台，但仅凭一家企业，是无法解决整个AI行业落地过程中，各种各样的技术、商业模式、市场等方方面面挑战的。

“我们认为多模态大模型在边缘的训推一体，尤其算法芯片的深入融合方向一定不会错，共创行业模型赋能行业长尾场景一定是未来的趋势，今天是云天励飞生态构建的一个重大开端。”陈宁博士说。

AI技术终将解码物理世界

在云天励飞CEO陈宁看来，无论通信、互联网、电子信息等技术，都经历了方案化、运营化和产品化三个阶段，AI也不例外。

与此同时，AI方案化、AI运营化和AI产品化，也是云天励飞的三个核心业务板块。

AI方案化，指AI企业通过项目制满足不同行业客户的需求。

在2022年底之前，这种趋势在G端和B端呈现出了蓬勃发展的迹象，各种行业解决方案层出不穷。

自2014年成立至今，云天励飞已经沉淀了智慧安防、智慧交通、城市治理、人居生活四大基础领域的成熟行业解决方案，并在过去两年探索了智慧教育、低空经济等创新领域。

AI运营化，指将已开发的AI解决方案投入实际项目中，不断积累行业认知和数据，持续进行优化改进，形成具备越来越强泛化能力的AI平台。

随着AI技术成熟和市场接受度提升，两年前市场开始走向AI运营化，开启了商业模式的创新。

云天励飞基于在大量行业的落地经验，已形成智能算力运营、数据运营和新能源运营平台。

AI产品化，指将AI技术或解决方案转化为标准化、通用化的产品或服务，通过物理实体赋能，满足更广泛的市场需求。

从成立之初自研AI芯片，到去年与华为昇腾联合推出天舟大模型训推一体机，再到如今推出面向边缘训推场景的“深目”AI模盒，以及通过资本纽带进军智能穿戴市场，云天励飞一直在致力于做物理世界的“解码者”，并在日复一日的坚持中，构建起日益完善的大模型产品体系。

陈宁博士表示，“多模态大模型将推动AI从方案化，走向运营化，最终走向标准化的智能硬件。在AI产品化方面，最重要的是推出面向C端的产品，如终极形态的人形机器人，将成为标准化的智能硬件之一。”

在云天励飞的布局中，标准化的智能硬件分为端、边、云三个不同的计算节点和产品形态。

终端和云端更多是整合生态，在终端设备上，通过生态构建，并购了一家可穿戴设备方案供应商；云端设备上，全面拥抱华为昇腾，在天舟大模型训推一体机后，联合探索各类场景；边缘设备上，则是端到端的开发打磨的一系列深目AI模盒，解决过往十年细分场景精度不够、成本太高、周期太长、数据量太大等一系列痛点问题。

当人工智能技术能够解决应用到实际场景中的最后一公里难题时，AI将不再仅仅是虚拟世界中的工具，而是真正成为了物理世界的生产力。

结语

过去一年，创业者们都在思考如何利用大模型这一颠覆性机会构建新的护城河，生成式AI的局限性，使得大模型与产业的结合，成为一个需要不断验证和改进的过程。

这个过程，恰如云天励飞十年间对“深目”产品的更新迭代。

CV小模型时代，名为”深目”的人工智能产品，引领了AI产业化应用的浪潮，揭开了“AI+公共安全”市场的新纪元。

大模型时代，名为“深目”AI模盒的边缘训推一体产品，基于大模型技术演进和芯片深度融合的联合设计，已经拥有了焕然一新的技术底座。

从“深目”到“深目”，从“方案化”到“产品化”，从“CV小模型创业”到“大模型创业”，云天励飞向着AI普惠的目标，再次出发了。

新能源时代，国产3D视觉「冲击」保守的汽车行业

奥比中光2.0：机器人大时代，提速出海