GEAR 会是英伟达衔接具身智能布局的齿轮吗？|gear|人工智能|具身|机器人|英伟达|超级计算机|黄仁勋|齿轮

专题解读事件：英伟达的高级科学家 Jim Fan 在社交媒体上宣布，将和朱玉可一起，在英伟达内部组建一个新研究小组 GEAR，专注于通用具身智能体研究。

根据 Jim Fan 透露的信息，研究小组 GEAR 全称 Generalist Embodied Agent Research，其目标为创造一个具有通用能力的 AI，可以在许多虚拟和现实的世界中学习如何熟练地行动。Jim Fan 还强调，2024 年将是属于机器人、游戏 AI 和模拟的一年。

Jim Fan 还在社交媒体补充了一条帖子称：「我们有足够的资金一次性解决机器人基础模型、游戏基础模型和生成式模拟。我们团队可能是全球最有钱的具身智能实验室。」

英伟达在具身智能方面已有哪些布局？

1、英伟达在 AI 算法、机器人控制、软硬件设施等方面均有布局，其具身智能领域的技术储备主要来自机器人团队和 AI 团队。

① 英伟达的机器人团队全称 NVIDIA Seattle Robotics Lab，团队成员有 24 人，主要负责人为 Dieter Fox。Fox 是西雅图华盛顿大学计算机科学与工程系教授。

② 据官方资料，Fox 领导的团队的研究方向涉及机器人操纵（Manipulation）、控制（control）、感知（Perception）、真实世界感知下的任务及运动规划（TAMP）、人机交互及仿真等，具体研究成果包含 ACRONYM 大规模抓取数据集、DexPilot 灵巧机械臂远程操作方案、DexYCB 手部抓取动作捕捉基准、HandoverSim 和 DefGraspSim 仿真模拟框架等。

2、软硬件设施方面，英伟达在具身智能领域的代表性产品是数字孪生平台 Omniverse 和 Isaac 平台，以及 Isaac 所衍生的一系列工具。

① Isaac 平台是当下最流行的仿真工具之一，配套了 Isaac Gem 硬件加速工具、Isaac Sim 仿真平台以及用于端到端工作流部署和管理的 EGX Fleet Command 和 Isaac for AMR 等等。

② 硬件方面，英伟达开发了 Jetson 系列嵌入式 AI 平台，包含 Jetson 模组、用于加速软件的 NVIDIA JetPack SDK，以及包含传感器、SDK、服务和产品的生态系统等

英伟达近期在具身智能方面有哪些动作或线索？

1、在 2023 年 ITF 世界大会上，英伟达创始人兼 CEO 黄仁勋公开表达他对下一代人工智能的观点：人工智能的下一个浪潮将是具身智能（embodied AI），即能理解、推理、并与物理世界互动的智能系统。

① 在大会上，黄仁勋介绍了英伟达的多模态人工智能系统 VIMA，该系统能在视觉文本提示的指导下，执行复杂任务、获取概念、理解边界、甚至模拟物理学。此外，英伟达的元宇宙平台 Omniverse 还运行了 VIMA 的数字孪生。

2、此外，英伟达也与不少机器人公司达成了合作。

① 英伟达与波士顿动力公司合作，开发芯片以实现强大的人工智能和计算机视觉技术进行机器人感知和控制；

② 英伟达与瑞士机器人公司 ANYbotics 合作，主要共同开发增强四足机器人 ANYmal 的感知和导航能力；

③ 英伟达与 AIBrain 合作，共同开发了芯片适用于各种机器人应用的人工智能技术和解决方案；

④ 英伟达与 InOrbit 合作...

英伟达在Sim2Real都有哪些工作？英伟达还有哪些具身智能成果？这些成果都是与哪些团队合作研发的？...查看完整解读请前往「机器之心PRO」业内通讯 · 2024年度#Week 09