云计算是大模型的最佳搭档。目前，对千亿级大模型的训练过程和推理应用场景都在云端。但是，千行百业中，在端侧、边缘侧场景下同样存在对AI应用的海量需求。
如何将大模型的能力下沉到端侧？在车载等头部场景中，目前业界在端侧模型应用方面已经有哪些探索？近日，智能操作系统产品和技术提供商中科创达向国内媒体分享了自身的探索与思考。
端侧AI模型落地的挑战
中科创达是一家2008年成立的操作系统公司，手机、汽车和物联网领域的智能硬件是中科创达三大主要落地场景。2023年大模型浪潮的到来，也让产业各界看到AI大模型未来在端侧落地的巨大潜力。
“今年几乎所有的车厂都把大模型当作了未来3到5年必须做的一件事，但是现在的阶段都是属于PoC验证阶段，大家都在看这件事情到底给企业带来了哪些价值。”中科创达物联网事业群副总裁杨新辉表示。
然而，大模型想要应用到端侧，面临的挑战不少，比如：
第一， 时效性
以汽车场景为例，如果云端处理推理任务极大依赖案例环境和时延。比如，消费者对智能汽车说“打开车窗”，系统会先把云指令推送到云端，由云端分析推理完之后，再下放到车上，这在车端的各类智能服务场景中显然不现实。
“我们认为未来在手机设备或者汽车设备上，应该是100%必须要跑本地模型。目前在车端芯片能支持在边缘端部署的模型还很早期，真正应用估计至少还有一到两年的时间。如何不需要联网就可以实现本地最大算力的模型运行，这是我们思考要去解决的问题。”杨新辉表示。
第二， 推理成本
在云端使用大模型，会时刻产生大量的推理成本。当端侧设备芯片具备本地化推理能力时，消费者就会像使用智能手机一样，无需再单独为推理付费。
“影响大语言模型落地的很大一个障碍点就是推理成本。参数越大的模型对于推理成本的要求就越高，所以越大的模型商业化落地的节奏就越慢，而在不同的垂直场景里面，并不一定需要那么大参数的模型。”杨新辉认为。
第三， 场景碎片化
万物互联时代，端侧和边缘侧的AI需求和场景更加碎片化、长尾化。模型能力在面对这些碎片化场景时，面临投入产出比的问题。中科创达的解法是通过提供标准的参考设计，具备了完整的系统性能、结构设计、功能设计，客户在此基础上可以定制化开发应用，大幅降低自研的成本并加速产品上市周期。
自研大模型，围绕端侧构建核心竞争力
在“百模大战”格局下，中科创达也加入了自研大模型的行列。目前中科创达已推出7B、13B自研魔方大模型，预计明年年终会完成千亿以上规模的模型训练。
“我们过去的业务很多是围绕着端侧和边缘侧进行的。端侧和边缘侧上面上千亿参数的模型运行不起来。我们和其他做模型的厂商的差异化在于，我们还是希望未来在端侧和边缘侧形成自己核心的能力和竞争力。”杨新辉表示。
其实，中科创达在AI领域的投入由来已久，2017年就成为首批在亚马逊云科技中国区域使用机器学习服务 Amazon SageMaker 的合作伙伴。通过将Amazon SageMaker集成到中科创达智慧工业ADC (Automatic Defect Classification) 系统中，中科创达与亚马逊云科技合作，帮助施耐德电气中国工厂落地AI质检能力。
2023年5月，中科创达与亚马逊云科技成立了人工智能联合创新实验室，旨在基于亚马逊云科技的Amazon SageMaker等技术与服务，加速云和大语言模型行业解决方案的落地。
目前，中科创达在智能汽车等领域的AI解决方案正在加速落地中。“魔方画布”产品可以提供生动的3D人机交互，其丰富的功能正在让车载智能助手体验再升级。比如，通过将车辆说明书融入智能助手的知识库，车主不需要再阅读几百页的汽车说明书，只需要和智能助手通过简单的问答，就能迅速解锁不了解的汽车功能。
OS+AI双轮驱动，做产业生态连接者
AI大模型在端侧的应用还处在非常早期，未来还有巨大的商业想象空间。在这一产业进程中，中科创达具有怎样差异化的优势呢？杨新辉认为，可以概括为三点：
第一， 在操作系统和AI大模型领域领先的工程化能力。
“选择这两个方向是因为我们坚持做高门槛的事。也就是把一件事情做完可能需要数十个领域知识的覆盖，需要很多不同领域的专家共同完成。我们有点像产业中台的形态，有各方面的、全球化的人才。”
第二， 中立的定位和广泛的生态连接能力。
中科创达作为一家中立地位的B2B解决方案提供商，与亚马逊云科技、高通、英特尔、Nvidia、Arm等产业上下游头部企业保持了非常紧密的合作，并采用融入大型企业生态为客户提供服务的模式。凭借领先的自研技术，中科创达已经成为产业生态中非常有黏性的一环，持续保持技术的创新与进步。
第三， 全球化业务布局和人才团队。
中科创达自创立之初就是一家全球化的企业。目前公司的研发中心遍布全球 15 个国家和地区，业务营收的30%以上来自于海外，积累了大量全球化的企业客户。在全球化布局方面，中科创达与亚马逊云科技的合作更为紧密。“亚马逊云科技在云计算方面的方法论和基础能力全球领先，同时对行业的切分和洞察也是很清晰的，他们是知道整个行业的‘钥匙’在哪里。”
“我们认为在未来的15年乃至30年，用大语言模型驱动通用人工智能的发展将成为最大的需求之一，所有的产品都可以用一个通用AI再做一遍，所有的流程都可以重新再定义。中科创达致力于将‘OS+AI’的双轮驱动作为新的增长引擎，在这个过程中，我们有幸与像亚马逊云科技这样的合作伙伴一起做这件事情。”杨新辉表示。
热门跟贴