9月5日，头部大模型初创公司面壁智能官宣实现旗下模型新一轮迭代。正式进化的MiniCPM 3.0基座模型，再次以小博大，以仅为4B的参数，在包括自然语言理解、知识、代码、数学等多项能力上已实现超越GPT-3.5的性能。 南都记者了解到，此次MiniCPM 3.0在上下文长度、RAG能力方面都有所增强。同时，在近期引起关注的智能体关键技术Function Calling（函数调用）方面性能也测出接近GPT-4o。 面壁智能CEO李大海在发布会后接受媒体采访时提到，目前不管是汽车还是手机领域，“卷”得都特别激烈，而更智能的终端将会是手机与汽车的下一个卖点。此外，端侧模型与硬件终端结合量产的景象预计在明年就会出现，目前面壁智能也和相关硬件厂商在合作研发，相关产品今年年底将上市。
“小模型”对标GPT-3.5，上下文、RAG能力增强
南都记者了解获悉，MiniCPM 3.0仅4B参数，量化后仅占2GB内存，但在包括自然语言理解、知识、代码、数学等多项能力上已实现超越 GPT-3.5 ，在 Qwen2-7B、 Phi-3.5、GLM4-9B、LLaMa3-8B 等一众中外知名模型脱颖而出。
在此次迭代中，面壁智能旗下模型在上下文、RAG等方面的能力都做了增强。
在大模型中，更长的上下文长度意味大模型拥有更大的“内存”和更长的“记忆”，不仅能提高大模型处理数据的能力上限，还能拓宽大模型应用的广度和深度。在MiniCPM 3.0中，面壁提出 LLMxMapReduce长本文分帧处理技术 ，打破大模型记忆限制，可以将上下文长度无限稳定拓展。
同时在此次迭代中，面壁还带来了MiniCPM-Embedding（检索模型）、MiniCPM-Reranker（重排序模型）和面向RAG场景的 LoRA 插件（生成模型），这有助于让模型引用外部知识库，检索到最新、最可靠的专业知识，确保生成内容更加可信，减少大模型的幻觉问题。大模型+RAG 在行业中极其实用，尤其是对法律、医疗等依赖专业知识库、对大模型幻觉容忍度极低的垂直行业。
新模型智能体关键技术接近GPT-4o
随着科技的发展，端侧AI在智能体应用中的潜力也被进一步释放，未来用户能在搭载智能体的终端硬件如手机、电脑上实现更智能快捷的指令下达。
近期，多家厂商也在密集布局AI Agent（智能体）。比如，9月6日荣耀CEO赵明就在2024德国柏林消费电子展上首次向外界发布的荣耀AI Agent创新成果，只需要说出一句话指令，AI Agent就能为用户点一杯咖啡。苹果近期也在发布会上透露，Apple Intelligence使得iPhone变成了一个由AI驱动的小型个人助理，通过增强版siri，用户直接下达指令说“向Erica发送周六烧烤照片”的请求，就能完成发送照片的动作。
为何智能体能将用户的自然指令快速执行？事实上在智能体中，一项关键技术是Function Calling（函数调用），它能够将用户模糊化的输入语义转换为机器可以精确理解执行的结构化指令，并让大模型连接外部工具和系统，例如通过语音在手机上调用日历、天气、邮件、浏览器等 APP 或相册、文件等本地数据库，从而打开终端设备 Agent 应用的无限可能，也让人机交互更加自然和方便。
在这方面，此次迭代后，面壁智能的MiniCPM 3.0也有所布局。据悉，MiniCPM 3.0拥有端侧最强Function calling性能 ，在权威评测榜单Berkeley Function-Calling Leaderboard 上，其性能接近GPT-4o，并超越Llama 3.1-8B、Qwen-2-7B、GLM-4-9B 等众多模型。
端侧模型能力成手机与汽车下一竞争点
作为头部大模型厂商中稍显独特的一家，面壁智能从一开始就专注做端侧大模型。面壁智能联合创始人、CEO李大海曾提到，面壁智能做端侧，就是因为看到了端侧能更早更快落地的可能性。“数据显示，全国10亿用户手机端侧的算力，相当于差不多100万片H100。如果不同的手机上的算力能够被好好利用起来，很多应用就可以落地了。端侧的优势是隐私性好、更可靠、响应快。”
李大海在此次发布后接受媒体群访时也表示，此次发布的MiniCPM 3.0仅4B参数，能在手机、汽车和PC上有较好的落地场景。
而相较于云端模型来说，端侧模型的优势是可以更激进、更全方位去使用用户本地的隐私数据。“用户因为隐私原因，未必愿意把非常隐私的数据传到云端上去。所以这个是端侧、尤其是在PC（落地时）最大的价值，在汽车、手机上也有类似的点，但在汽车上可能更重要的是端侧模型对于本地环境感知的一个可靠性和灵敏性。”
李大海还提到，目前不管是汽车还是手机领域，“卷”得都特别激烈，而更智能的终端将会是手机与汽车的下一个卖点，因此不少相关厂商都在寻求与模型厂商的合作。李大海预测，端侧模型与硬件终端结合量产的景象预计在明年就会出现。目前面壁智能也和相关硬件厂商在合作研发，相关产品今年年底将上市。
南都记者关注到，2024年9月，面壁智能成为了TINNOVE 梧桐科技芯算一体AI座舱方案中端侧大模型重要合作伙伴，以MiniCPM车载多模态大模型实现舱驾协控相关的功能控制。
采写：南都记者 林文琪
热门跟贴