Mistral AI 和 NVIDIA 今天发布了一种新的尖端语言模型 Mistral NeMo 12B，开发人员可以轻松定制和部署，支持聊天机器人、多语言任务、编程和摘要
通过将 Mistral AI 在训练数据方面的专业知识与 NVIDIA 优化的硬件和软件生态系统相结合，Mistral NeMo 模型为各种应用提供了高性能
以下是Mistral官宣全文：
Mistral NeMo
今天，我们很高兴发布与 NVIDIA 合作构建的 120 亿参数模型 Mistral NeMo。Mistral NeMo 拥有高达 128k Tokens 的大上下文窗口，在推理、世界知识和编码准确性方面在同类模型中处于领先地位。由于采用了标准架构，Mistral NeMo 使用方便，可以直接替代任何使用 Mistral 7B 的系统。
为了促进研究人员和企业的采用，我们在 Apache 2.0 许可证下发布了预训练基准和指令微调的模型检查点。Mistral NeMo 在训练时考虑了量化，使其能够在不降低性能的情况下进行 FP8 推理。
下表比较了 Mistral NeMo 基础模型与最近的两个开源预训练模型 Gemma 2 9B 和 Llama 3 8B 的准确性。
表 1：Mistral NeMo 基础模型性能与 Gemma 2 9B 和 Llama 3 8B 的比较
多语言应用的理想选择
Mistral NeMo 适用于全球多语言应用。它经过函数调用训练，具备大上下文窗口，并在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面表现尤为突出。这款模型的发布，是让前沿 AI 技术普及到更多人手中的又一重要步骤，覆盖了人类文化的所有主要语言
图 1：Mistral NeMo 在多语言基准测试中的表现。
Tekken：更高效的分词器
Mistral NeMo 使用了新的分词器 Tekken，它基于 Tiktoken，训练了超过 100 种语言，比之前 Mistral 模型使用的 SentencePiece 分词器更高效地压缩自然语言文本和源代码。尤其是在压缩源代码、中文、意大利语、法语、德语、西班牙语和俄语时，效率提高了约 30%。在压缩韩语和阿拉伯语时，效率分别提高了 2 倍和 3 倍。与 Llama 3 的分词器相比，Tekken 在大约 85% 的语言上表现出了更高的压缩效率。
图 2：Tekken 压缩率
指令微调
Mistral NeMo 经过了先进的微调和对齐过程。与 Mistral 7B 相比，它在遵循精确指令、推理、处理多轮对话和生成代码方面表现更佳
表 2：Mistral NeMo 指令微调模型准确性。评估使用 GPT4o 作为官方参考
链接
模型权重托管在 HuggingFace，包括基础模型和指令模型。你现在可以使用 mistral-inference 试用 Mistral NeMo，并使用 mistral-finetune 进行适配。Mistral NeMo 在 la Plateforme 上以open-mistral-nemo-2407名称公开。这款模型还作为 NVIDIA NIM 推理微服务打包在
一个容器中，可以从ai.nvidia.com获取
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
热门跟贴