为扩展开放模型生态，NVIDIA 发布全新开放模型、数据和工具，推动各行业 AI 技术的发展。

打开网易新闻 查看精彩图片

  • NVIDIA Nemotron 赋予 AI 智能体语音、多模态智能和安全能力：基于近期发布的 NVIDIA Nemotron 3 系列开放模型与数据，NVIDIA 推出 Nemotron 语音、多模态检索增强生成 (RAG) 和安全模型。

  1. Nemotron Speech包含全新自动语音识别 (ASR) 模型等多个榜首级的开放模型，可实现实时低延迟语音识别，适用于实时字幕和语音 AI 应用。日常及模态基准测试显示，该模型性能较同类模型提升 10 倍。
  2. Nemotron RAG包含全新的嵌入与重排序视觉语言模型 (VLM)，能够提供高精度的多语言和多模态数据洞察，提高文档搜索与信息检索能力。
  3. Nemotron Safety模型可提升 AI 应用的安全性与可信度，目前已包括支持扩展语言的 Llama Nemotron 内容安全模型，以及高精度检测敏感数据的 Nemotron PII 模型。

  • 适用于各类物理 AI 与机器人的新模型：NVIDIA 推出 NVIDIA Cosmos 开源世界基础模型，通过类人推理与世界生成能力加快物理 AI 的开发与验证。

  1. Cosmos Reason 2是一个全新的榜首级推理型 VLM，可帮助机器人与 AI 智能体在物理世界中实现更高精度的视觉感知、理解与交互。
  2. Cosmos Transfer 2.5Cosmos Predict 2.5是两个领先的模型，可在各种不同环境与条件下生成大规模合成视频。

基于 Cosmos 平台，NVIDIA 还推出了适用于各类具身物理 AI 的开源模型与蓝图：

  1. Isaac GR00T N1.6是专为人形机器人打造的开源推理视觉语言行动 (VLA) 模型，它能实现全身控制，并借助 NVIDIA Cosmos Reason 增强推理和上下文理解。
  2. 用于视频搜索和总结的 NVIDIA Blueprint作为 NVIDIA Metropolis 平台的一部分，是一个适用于构建视觉 AI 智能体的参考工作流。这些 AI 智能体可通过分析海量录制和实时视频，从而提升运营效率并维护环境秩序。

  • 适用于推理型辅助驾驶汽车的 NVIDIA Alpamayo：NVIDIA 推出全新 NVIDIA Alpamayo 系列开放模型、仿真工具和大型数据集，将推动推理型辅助驾驶汽车的开发进程。该系列包含：

  1. Alpamayo 1是首个应用于辅助驾驶汽车的大型开放 VLA 推理模型，使汽车能够理解周围环境并解释其决策背后的逻辑。
  2. AlpaSim是一款开源的仿真框架，支持在多样化环境和极端事件中对推理型辅助驾驶模型进行闭环训练与评估。

  • 适用于医疗与生命科学的 NVIDIA Clara：为降低成本并加速治疗方案的落地，NVIDIA 推出全新 Clara AI 模型，弥合数字药物研发与现实医疗之间的差距。具体包括以下模型：

  1. La-Proteina帮助设计大规模、原子级精确的蛋白质，用于研究和候选药物开发，为科学家研究此前被视为无法治疗的疾病提供了新工具。
  2. ReaSyn v2通过将制造蓝图融入研发过程，确保 AI 设计的药物能够实际合成。
  3. KERMT通过预测潜在药物与人体的相互作用，在研发早期提供高精度、计算安全的测试。
  4. RNAPro通过预测 RNA 分子的复杂三维结构，挖掘个性化医疗的潜力。

以上为摘要内容，如需阅读全文，请点击链接：NVIDIA 发布全新开放模型、数据和工具，推动各行业 AI 技术的发展 | NVIDIA 英伟达博客