茕茕 发自 凹非寺
量子位 | 公众号 QbitAI
阿里开源，又拿第一了。
这次是在多模态领域：
就在刚刚，阿里国际AI团队开源多模态大模型Ovis1.6。在多模态权威综合评测基准OpenCompass上，Ovis1.6-Gemma2-9B版本综合得分超越Qwen2VL-7B、InternVL2-26B和MiniCPM-V-2.6等主流开源模型，在300亿以下参数开源模型中位居第一。
在数学推理和视觉理解等多项任务中，得分甚至超过了闭源的GPT-4o-mini。
具体来说，Ovis1.6能胜任视觉感知推理、数学和科学、生活场景等多种多模态任务。
拿大家伙儿都很关注的数理能力举个，Ovis1.6的表现是酱婶的：
妈妈再也不用担心我学不明白大学数学。
用来辅助读读论文：
分析财报，效果也相当不错。
还能当场看图教你做一道经典的炸鱼薯条（手动狗头）。
值得一提的是，阿里国际的Ovis系列多模态大模型，遵循的是Apache 2.0开源协议。也就是说，协议很宽松，商用很友好。
从结构上对齐视觉和文本嵌入
话不多说，我们照例来拆解一下Ovis这个新科第一背后的技术细节。
根据OpenCompass评测基准，Ovis1.6-Gemma2-9B超过了Qwen2-VL-7B、MiniCPM-V-2.6等一众相同参数量级的知名多模态模型。
在数学等推理任务中，甚至有媲美70B参数模型的表现。
Ovis1.6的幻觉现象和错误率也低于同级别模型，展现了更高的文本质量和准确率。
如何做到？阿里国际AI团队的核心思路是：从结构上对齐视觉和文本嵌入。
当前，多数开源多模态大语言模型（MLLM）并非从头训练整个模型，而是通过像多层感知机（MLP）这样的连接器，将预训练的大语言模型（LLM）和视觉Transformer集成起来，给LLM装上“眼睛”。
这样一来，就导致了一个问题：MLLM的文本和视觉模块采用不同的嵌入策略，使得视觉和文本信息没办法无缝融合，限制了模型性能的进一步提升。
针对这个问题，Ovis采用了视觉tokenizer+视觉嵌入表+大语言模型的架构。
Ovis借鉴了大语言模型中的文本嵌入策略，引入了可学习的视觉嵌入表，将连续的视觉特征先转换为概率化的视觉token，再经由视觉嵌入表多次索引加权得到结构化的视觉嵌入。
文本方面，Ovis沿用当前大语言模型的处理方式，文本tokenizer将输入文本转化为one-hot token，并根据文本嵌入表查找到每个文本token对应的嵌入向量。
最后，Ovis将所有视觉嵌入向量与文本嵌入向量拼接起来，经由Transformer处理，完成多模态任务。
此次开源的Ovis1.6，相较于前代Ovis1.5，还在架构、数据、训练策略等方面做出了进一步优化。
架构方面，采用动态子图方案，能灵活应对不同分辨率图像特征，提升了模型处理复杂视觉任务的能力。
数据方面，Ovis1.6在训练中涵盖了多种类型的数据集，包括Caption、OCR、Table、Chart、Math等，确保模型在广泛的应用场景中都有出色表现。
训练策略方面，采用DPO等方案持续优化模型性能，增强了模型在生成文本和理解复杂指令方面的能力，使得模型在复杂任务上的表现进一步提升。
消融实验的结果还显示，在训练数据、模型参数、LLM和视觉底座都保持相同的情况下，与基于MLP连接器的多模态大模型架构相比，Ovis性能整体提升了8.8%。
量子位还了解到，作为一项基础研究，Ovis目前已经被广泛应用到了阿里国际的实际业务中。
AI能力变革出海电商
正如大家所知，阿里国际是一家AI驱动的、拥有多个全球知名电商的公司。
而事实上，出海电商这个场景，早已第一批被AIGC“渗透”。
原因很直接：做出海生意，往往面临海外市场复杂、成本和竞争压力大、跨境人才短缺等等共性问题，而多模态大模型这样的AIGC技术，恰恰能在这些问题上，提供适配的降本增效方案。
举个例子，在跨境电商领域，退货退款一直是影响用户体验的重要因素。
传统方案是人工进行退款退货的审核和判责。这不仅需要大量审核人力和较久的审核时间，还会因为人工主观的评判标准不一，导致判罚的不稳定性较高。多数平台为了保证用户体验，倾向于给消费者更多的倾斜，但这也伤害了部分商家和平台的权益。
现在，基于Ovis，阿里国际融合过去积累的大量电商知识，上线了智能退款系统。
相比于人工，Ovis针对用户提供的退货退款图文和视频详情，可以提供秒级的审核服务，且具有高度稳定的一致性。这就在保证消费者和商家公平权益的同时，实现了快速低成本的退货退款方案。
另外，在商品属性提取、生成卖点等场景中，Ovis也已落地应用。
阿里国际AI团队，正是在如此预判下成立试跑的。而就在成立这一年多时间里，阿里国际已经实现AI能力在跨境电商领域的规模化应用：
AI发布商品达到百万规模，并且通过AI优化，这些产品在海外的搜索量提升了37%。
AI能力覆盖营销、客户服务、商品发布、设计、合规等40+应用场景，服务全球50万商家。
阿里国际AI能力日均超5千万次调用，规模每两月翻番。
Ovis之外，阿里国际还构建了多语言增强大模型Marco，电商版多模态大模型MarcoVL，提供的MaaS服务包括：
- 多语言文本生成技术：为商品详情描述适配当地语言，让AI为商品介绍改写优化多语言标题，突破语言和文化壁垒。
- AI图片处理，比如一键生成多张虚拟试衣效果。
以及智能消除、智能抠图等图像设计类能力。
可以说，从创立店铺到市场营销，再到售前售后，在出海电商的各个环节，阿里国际都已提供相应的AI技术予以辅助——
潜移默化中，AI已经完全改变商家的工作方式和生产效率。
△店铺设计来自AI
大模型之所以能在各行各业掀起惊涛骇浪，核心原因就是对生产力的解放和降本增效。
在这一波变革之中，对于阿里国际这样的平台而言，AI技术能力再次成为最受关注的核心竞争力。
而借助平台之力，出海电商商家已经开始第一批享受拥抱AI的红利。
对于广大开发者而言，来自于实干家们的开源贡献，亦是福音。
Ovis1.6开源地址和Demo：
arXiv:https://arxiv.org/abs/2405.20797
Github:https://github.com/AIDC-AI/Ovis
Huggingface：https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9B
Demo：https://huggingface.co/spaces/AIDC-AI/Ovis1.6-Gemma2-9B
热门跟贴