一个总参数约1.05万亿的旗舰模型,权重文件直接挂在Hugging Face上,不用申请、不用审批,任何账号都能拉。但真把它拖回本地,第一道坎不是许可证,是硬盘——官方FP8检查点约1,061 GB。

打开网易新闻 查看精彩图片

这就是Mistral Large 4的开放权重版本,内部代号「Le Chonk」。2026年10月29日上线Hugging Face,提供FP8与NVFP4两种检查点,社区还做了GGUF量化版。它是个多模态混合专家模型:每处理一个token,激活约49B参数(算上嵌入层和输出层是52B),另带一个1.6B的视觉编码器,上下文窗口100万token。模型卡写明72个文本层、128个路由专家,每个token选4个专家外加1个共享专家。

下载本身没有门槛,两个官方仓库都标记为不设访问限制。真正的成本在运行侧:官方给出的所有部署示例,都默认一台8 GPU节点、张量并行度8。想省事就走API,模型ID是mistral-large-4,每百万输入token收费0.70美元,缓存输入0.07美元,输出2.10美元。

从10月6日的预览版到现在,有几处变化值得注意,尤其是第一处会直接让旧代码出问题:

  • 推理参数改了。预览集成里如果传的是reasoning_effort: "none",现在要换成"low"。按Hugging Face发布说明,Transformers会把none当作high执行,旧配置不会报错,只会默默烧token。
  • 权重不是预览版的冻结副本。权重公开前,模型又做了3周额外强化学习,重点在编程和网络安全。
  • 所有基准数字均为厂商自报。Mistral声称在Cognition的非公开基准FrontierCode 2.0上拿到19.7%(其图表中开放权重最高分),在Artificial Analysis Coding Agent Index上为48%,与GLM-5.3大致相当。截至11月2日,独立复现仍待完成。

自托管有三条路可走,选哪条取决于你手上有多少硬件。最轻的是调API,不需要GPU;中间一档是托管服务商,Mistral点名了OpenRouter、NVIDIA托管的端点和NIM容器,以及Azure上的Microsoft Foundry私有部署;最重的是自己下载权重,用vLLM、SGLang、Transformers或llama.cpp来服务。

官方推荐vLLM,并提供了专用Docker镜像。启动命令里有两个解析器参数不能省:--tool-call-parser mistral和--reasoning-parser mistral。少写一个,思考文本会混进content字段,工具调用会以纯文本形式返回。想要更快的解码,可以加DSpark投机解码器,在8张H200上实测单请求约65 token/秒,负载下1000条ShareGPT对话合计约480 token/秒。SGLang的配置类似,用--tp-size 8和--speculative-algorithm DSPARK。

如果手上只有一台Mac,llama.cpp是唯一被记录在案的单机方案。Q2_K量化版381 GB,能塞进一台512 GB统一内存的Apple Silicon Ultra。按Hugging Face的数据,M3 Ultra上预填充约90 token/秒、生成15 token/秒——做私有实验够用,跑智能体循环就偏慢,而且2比特量化的质量会下降,得先在自己的任务上试。

采样参数方面,Mistral建议所有推理档位都用temperature=1.0、top_p=0.95。vLLM和SGLang都暴露OpenAI兼容接口,请求体和普通聊天补全一样,只是把model换成mistral-large-4、加上Bearer密钥发到api.mistral.ai即可。

自托管模型有个讨厌的特性:它失败得很安静。解析器参数漏了,推理内容悄悄漏进正文,工具调用变成一段纯文本,接口照样返回200。与其手动贴curl,不如让编码智能体用Apidog CLI把两条路由都测一遍:建两个环境,一个指向localhost:8000,一个指向api.mistral.ai,发一个reasoning_effort为"low"的工具调用请求,断言状态码200、choices[0].message里有tool_calls数组、content里不含思考文本,然后对比两边差异。同一行apidog run命令也能塞进CI,防止某次vLLM升级带着坏掉的工具调用上线。

许可证是MIT加一个条件。你可以商业或非商业地运行、部署、微调、修改模型及其衍生品,只要保留版权和许可声明。但如果把它当作「模型即服务」对外提供——也就是让第三方获得对模型或其衍生品做推理或后训练的能力——就需要向Mistral单独申请商业许可。内部使用、把模型嵌进产品功能、单纯转发请求给他人托管的模型,都不受这条限制。内部编码助手没问题,转卖原始推理能力要签合同。

该自托管还是调API?量不大、想用满100万上下文又不想调服务器限制、或者手上根本没有8 GPU节点,就走API。按每百万输入0.70美元、输出2.10美元算,每月1亿输入token加2000万输出token,在算缓存折扣之前是112美元。数据不能出网、要拥有自己的微调、或者有稳定负载让节点持续跑满,才值得自托管——Hugging Face给出了在8张B300节点上用TRL做LoRA训练的示例,Mistral的Forge服务则是用自己数据做调优的托管选项。

最后一个容易踩的认知坑:这是开放权重,不是OSI意义上的开源。权重能免费下载,成本在运行侧;单GPU的官方配方一个都没有,文档里最小的配置就是那台512 GB统一内存的Mac加381 GB的Q2_K量化版。