荐语:
在11 月 13 日东京举行的英伟达 AI 峰会上,英伟达 CEO 黄仁勋与软银董事长孙正义共同宣布了一项重大合作,将联手在日本建设该国最大的 AI 基础设施,这一举措无疑将为日本乃至全球的 AI 发展注入新的活力。
通过黄仁勋与孙正义的精彩演讲及对话环节,深入探讨了 AI 的发展趋势、应用场景、对各行业的影响以及未来的机遇与挑战等诸多关键问题。
AI 时代下,数字 AI 代理和物理 AI(机器人系统)这两种类型的 AI 各自有哪些特点和应用场景?它们是如何改变企业运营和人们生活方式的?
接下来,就让我们一同走进此次峰会,探寻其中的精彩内容吧。(虎嗅智库服务)
【划重点】英伟达:黄仁勋主题演讲,并与孙正义炉边谈话
来源:Gangtise投研
AI会议纪要
一、英伟达在日本的发展历程与技术基础
- 早期合作成果: 英伟达在日本有着诸多开创性合作成果,如与Sega合作,其著名开发者Suzuki首次将3D游戏移植到英伟达GPU;东京理工大学利用英伟达Coda构建超级计算机,使英伟达GPU进入高级科学计算领域;英伟达还在日本首次创建移动处理器,助力任天堂Switch项目。
- 加速计算模式: 英伟达发明了加速计算,它并非要取代CPU,而是增强CPU。加速计算是CPU和GPU协同工作,利用两者各自优势,CPU擅长顺序处理,GPU擅长并行处理。这种计算模式是全新的,与传统仅使用CPU的计算模式有很大区别。
- 众多算法与库: 为实现加速计算,英伟达创建了350个不同的库。例如计算光刻领域的库,将芯片制造中原本需要数周的计算缩短到数小时,不仅加快芯片制造周期,还能推进光刻算法发展,使半导体物理突破2纳米限制。还有像Numpy这样的数值处理库,全球有500万开发者使用,上月下载量达3000万次,且已实现多GPU、多节点的全面加速。
- 合作伙伴众多: 在日本有众多合作伙伴,如GMO Internet Group、Hewlett Packard Enterprise、Microsoft、Azure、Mitsui and Company等是白金赞助商,还有其他56个赞助商,英伟达希望与日本生态系统中的企业合作,将AI引入日本。
- 软件发展变革: 过去十年,人工智能和机器学习的规模扩大了100万倍,这一变革催生了Chat GPT等成果。软件发展从传统的软件1.0(程序员编写代码描述算法,代码在CPU上运行)转变为软件2.0(基于机器学习,神经网络在GPU上运行),这种转变改变了软件的开发方式。
- 多模态应用: 软件2.0的机器学习方法具有很强的可扩展性,可以用于多种数据类型,如数字化文本、声音、图像、视频等,还可以是多模态的。例如可以学习氨基酸序列,理解各种有大量观测数据的事物,不仅能理解数据的意义,还能进行翻译和生成等操作。
- 应用组合爆发: 人工智能的各种数据类型组合产生了众多新的行业、公司和应用场景,如文本到文本(总结、问答、文本生成、讲故事)、视频到文本(字幕生成)、图像到文本(图像识别)、文本到图像(图像生成)、文本到视频(视频创作)等,甚至还包括蛋白质到文本、文本到化学品等组合,这是应用的大爆发阶段。
- 训练与推理的缩放规律: 人工智能存在训练缩放规律和推理缩放规律。训练方面包括预训练和后训练,后训练有强化学习、人类反馈等多种方式,随着模型和数据规模的扩大,人工智能的有效性、质量和性能不断提高。推理方面,从简单的生成下一个单词发展到思考、反思、规划等更复杂的操作,这两个缩放规律需要计算机以极快速度运行。
- 性能、成本与能耗: 在人工智能发展中,每次推出新的架构,性能会提高x倍,同时功耗和成本会降低x倍。随着世界对人工智能的接受度提高,英伟达的使命是不断提高性能,扩大人工智能的应用范围,提高其有效性,降低成本和能耗。
- 系统架构组成: Blackwell系统包含多个组件,有两个Blackwell芯片,每个芯片是台积电在其最先进的4纳米节点制造的,拥有1040亿个晶体管。两个芯片通过每秒10太字节的低能耗链路连接,中间有数千个互连,同时连接着来自SK Hynix和Micron的8个HBM存储器,这些存储器总运行速度为每秒8太字节。每个GPU通过1.8太字节每秒的NVLink连接,并且与CPU通过每秒1太字节的低能耗链路连接。
- 网络连接特性: 系统中的两个GPU通过两个CX7网络连接到数千个其他GPU,同时还需要NVLink。NVLink可将一个机架中的少数GPU以每秒51.8太字节的高带宽连接到NVLink交换机,一个机架中有9个NVLink交换机,每个机架包含72个这样的计算机系统,这些计算机从软件角度看就像一个巨大的GPU。
- 系统性能与适应性: Blackwell系统非常强大,72个这样的计算机连接起来就像一个大型GPU。它的造价为3000英镑,功率为120千瓦。该系统不仅强大,而且具有很强的适应性,可以配置成一个超级集群,或者整个大型数据中心,还能集成到企业数据中心、超大规模数据中心或边缘设备中,适用于世界计算基础设施的各个角落。
- 软件栈的重要性: 英伟达软件栈对Blackwell计算机的运行至关重要,没有软件栈,这台计算机无法操作。软件栈包含了英伟达多年来创建的各种软件,如Megatron、Megatron Core、Triton等,这些软件集成到系统中,使得全球范围内的AI超级计算机部署成为可能。
- 数字AI代理概念: 人工智能有两种类型,其中一种是数字AI代理,它们类似于数字员工,可以理解、计划和采取行动。例如可以执行营销活动、支持客户、制定制造供应链计划、优化芯片、协助编写软件、担任研究助手等。像企业中的员工一样,需要对这些数字AI代理进行培训、创建数据、评估、设置防护栏、操作和部署等操作。
- Nemo平台功能: 英伟达创建了Nemo平台来帮助构建AI代理,Nemo包含从数据创建到训练、微调、合成数据生成、评估、防护栏等各个阶段的库,这些库集成到全球的工作流和框架中。英伟达与全球的AI初创公司、服务提供商(如埃森哲和德勤)合作,将其推广到大型公司,还与软件供应商(如ServiceNow)合作,以便创建有用的AI代理。
- Nims与AI代理构建: Nims是一种微服务,是将AI打包的形式。内部的软件具有智能,可以与人交互、与其他软件连接,多个Nims可以一起构建成一个AI代理。例如一些预训练的AI模型被打包成Nemo Inference(Nims),这些Nims可以帮助企业快速构建和部署AI应用,提高企业的生产力。虽然单个AI代理不能完成一个人100%的任务,但可以完成50%的工作,从而提高整体生产力。
- 机器人行业现状与局限: 机器人技术将成为世界上最重要的行业之一,但目前机器人行业存在局限性。在日本,全球50%的制造机器人由几家公司制造,但机器人行业长期以来发展较为平缓,原因是其过于特定化,不够灵活,难以适应不同场景、条件和工作任务。
- 物理AI的技术实现: 要实现物理AI(机器人技术),需要构建三个计算机相关的环节。首先是训练AI,如同之前提到的各种AI训练示例;其次是模拟AI,需要为AI提供一个练习、学习和接收合成数据的虚拟环境,英伟达有Omniverse平台用于创建物理AI和机器人技术相关的库;最后是将经过验证、训练和评估的模型放入物理机器人中,英伟达有专为机器人设计的处理器Jetson、Thor。
- Isaac Lab框架: 英伟达上周在机器人学习会议上宣布了Isaac Lab框架,这是一个强化学习和虚拟刺激系统,用于教导人形机器人如何像人类一样行动。它包含几个工作流,如Groot Mimic框架,通过人类演示和域随机化让机器人学习执行任务并进行泛化;Groot Gen利用生成式AI技术创建大量随机环境和动作示例,让机器人进行测试和自我提升;Groot Control则是一个模型蒸馏框架,将机器人学到的技能提炼成一个统一模型,使其能够执行运动技能。
- 物理AI的应用与影响: 物理AI将体现在机器人上,如自动驾驶汽车、工业操作机器人和人形机器人等。未来的工厂也将是机器人化的,通过数千个传感器进行监控和调整操作。英伟达构建的三个计算机相关环节以及Omniverse平台等技术,使得物理AI时代来临,将改变世界的重工业和机器人行业,日本由于在机器人领域的传统优势和对机器人的热爱,有望在这场变革中发挥重要引领作用。
- 多领域合作伙伴: 英伟达在日本的AI生态发展良好,有众多合作伙伴。在构建大型语言模型方面,有东京科学研究所、Rocketon、South Bank Intuition、NTT、Fujitsu、NEC、名古屋大学、Code Bar Technologies等;在AI云方面,有AIST、软银、Sakura Internet、GMO Internet Group等,这些合作伙伴共同构建了日本的AI生态。
- 多行业应用: 日本的许多行业开始利用AI的能力,如机器人行业中的川崎、丰田等,医疗成像系统中的佳能、富士胶片、奥林巴斯等。在医疗领域,未来的医疗仪器将更加自主,内部的AI代理可以辅助护士进行诊断等工作,在药物研发等众多领域,AI也有广泛的应用。
- 产业模式转变: 计算机行业从以CPU为基础的编码运行转变为以GPU为基础的机器学习运行,从生产软件的行业转变为制造人工智能的行业。与传统软件不同,人工智能的制造和分发是一个持续的过程,其以“令牌”(tokens)为单位表达智能,这些令牌构成了各种形式的智能,如文字、汽车方向盘的智能、机器人的运动智能、药物研发中的智能等。
- 新工业革命: 人工智能是一个全新的产业,每个公司都将成为AI制造商,这是一场新的工业革命。就像300年前电力的发现带来了能源产业的诞生一样,人工智能产业是前所未有的,它虽然基于计算机行业,但被每个行业所利用和创造,每个国家、每个行业、每个公司都必须生产自己的人工智能。
- 构建AI基础设施: 英伟达与软银合作在日本构建AI基础设施,将共同建造日本最大的AI工厂。英伟达将提供DGX构建AI工厂,建成后将拥有25艾 FLOP的算力。软银将整合英伟达的Aerial引擎,把无线电计算机、基带和AI计算机从5G网络融合并重新打造为AI - RAN,从而能够在软银在日本的20万个站点为5500万客户分发AI。
- 创建AI商店: 在构建的AI基础设施之上,双方将创建一个AI商店,使得软银和第三方创建的AI能够提供给5500万客户。这些应用将基于英伟达的AI企业平台构建,这一举措将使AI像商品一样被大众获取。
- 构建AI网格及其影响: 合作的结果是构建一个贯穿日本的AI网格,这将成为日本重要的基础设施之一。就像工厂和道路、能源和通信一样,新的基础设施会创造新的产业、公司和经济机会。例如在汽车场景中,汽车的视频可以传输到基站,基站的AI可以理解汽车周围的情况;在工厂场景中,摄像头的视频传输到基站,基站的AI模型可以让工厂变得智能化,人们可以与工厂对话获取信息,这一概念可以应用到众多物理对象上,使其变得智能化。
- 软银的应用与资源共享: 软银将利用构建的AI网格为其子公司(如Line和Yahoo Japan等)创建AI,使服务更受消费者欢迎和有用。同时,软银还将创建最大的AI数据中心,为日本的研究人员、学生和初创企业提供平台,让他们能够以更低成本使用计算资源,促进AI在日本的发展。
- 日本的机遇与挑战: 日本在技术发展历程中有过不同的阶段,在机械电子时代曾领先,但在软件时代相对滞后。现在人工智能时代来临,日本具有一定优势,如政府对AI革命没有过度抑制,日本企业和个人拥有领域专长,可以将其转化为数据来训练AI模型。日本应抓住这个机会,鼓励年轻的创业者和创新者参与AI发展。
- 个人AI代理的未来: 未来个人AI代理将成为现实,就像比尔·盖茨的“每个桌面都有电脑”、史蒂夫·乔布斯的“每个人都有智能手机”一样,每个人都将拥有自己的个人AI代理。这些代理可以帮助人们制定旅行、度假、教育等计划,伴随人们一生成长,并且结合日本本土的知识、文化等因素,本土的AI代理将有巨大的发展前景。
- 数据主权与国家AI: 每个国家的数据都蕴含着本国的知识、文化和智慧,数据主权如同国家安全一样重要,各国应将本国公民的数据在本国的AI数据中心进行处理,转化为自己的AI,每个国家都应生产自己的智能,每个公司也应如此。日本构建的AI网格就像为AI发展铺设了道路,在此基础上各种新的服务和公司将蓬勃发展。
黄仁勋表示:“每个行业、每个公司、每个国家都需要推动一场新的工业革命”,并指出 AI 是这一变革的催化剂。
黄仁勋对话软银孙正义:打造AI代理和物理AI
文章来源:AI深度研究员
——比尔·盖茨曾经说过,每个人都应该有一台 PC。史蒂夫·乔布斯则说,每个人的手里应该有一部智能手机。现在我认为我们应该说,每个人都应该拥有一个 AI 代理。这样,AI 代理可以帮助我们规划旅行、度假,甚至教育 ——我认为有两种AI类型:一是数字AI代理,可在办公室中与员工协作;二是物理AI即机器人系统,将成为企业产品的重要组成部分 ——AI不同于传统APP,它需要数据与专业知识的结合。无论你是艺术家、游戏开发者还是研究员,只要拥有领域专长,就能用专业知识来描述数据,训练专属的AI模型
2024年11月13日,在东京举行的英伟达AI峰会(AI Summit Japan 2024)上,英伟达CEO黄仁勋与软银董事长孙正义共同宣布了一项重要合作:双方将联手在日本建设该国最大的AI基础设施。
黄仁勋演讲中表示,这将是世界首个全国性的AI网格系统,标志着电信网络向AI网络的革命性转变。他以汽车产业为例说明AI变革的深度:"未来的汽车公司将拥有两家工厂:一家生产汽车,另一家生产用于汽车中的AI。
在对话环节中,两位科技领袖强调:这是一次重要的产业革命机遇,AI将改变所有行业,企业应把握住AI时代机遇。AI 时代已经到来,正在改变全球的重工业和机器人技术。这是一个难以置信的时代。
一、演讲文稿
你好,日本!欢迎参加 NVIDIA AI 峰会。
你刚才看到的一切都是模拟的,没有动画。NVIDIA 的核心是一家模拟技术公司。我们模拟物理、模拟虚拟世界、模拟智能。通过我们的模拟,我们帮助您预测未来。因此,NVIDIA 在很多方面构建了时间机器。
今天,我们将与您讨论一些最新的突破。但最重要的是,这是一个关于日本生态系统的活动。我们有许多合作伙伴:350 家初创公司、25 万开发者、数百家公司。我们已经在这里很长时间了。自公司成立以来,日本一直是我们非常重视的市场。
在日本,我们创造了许多“第一”。例如,我们的第一位游戏开发伙伴是 SEGA 的著名开发者 Yu Suzuki,他将世嘉的 3D 游戏移植到 NVIDIA GPU 上。这是首次有开发者使用 NVIDIA CUDA 构建超级计算机,即东京工业大学的 Subame 1.2,这让我们得以用 GPU 推进科学计算。日本在许多方面都是第一个。也是在这里,我们首次创建了移动处理器,为我们珍视的任天堂项目奠定了基础。我们经历了许多“第一次”,如今站在人工智能革命的起点,一个新的时代和非凡的技术变革即将到来。这个时刻充满了兴奋和关键性意义。
1、加速计算
NVIDIA 发明了加速计算。加速计算不会取代 CPU,事实上,我们几乎是唯一不想更换 CPU 的计算机公司。相反,我们是增强 CPU,让计算密集型任务卸载到 GPU 上。这样,CPU 和 GPU 可以协同工作,充分发挥各自的优势——CPU 擅长顺序处理,而 GPU 擅长并行处理。我稍后会更详细地讨论这一点。这种加速计算的模式对世界来说是全新的。仅靠 CPU 运行的计算模式已经存在了 60 年,从 1964 年起,我们大多数计算都在 CPU 上进行。然而,计算模式正在发生根本性变化。
为了实现这一点,不能只是把 CPU 上的顺序软件移到 GPU 上并行运行。我们需要创建大量新算法。就像 OpenGL 使得计算机图形可以通过 GPU 加速一样,我们必须为各领域开发出大量特定的库。目前公司拥有 350 个不同的库,一些非常重要的包括:
KooLetho 用于加速光刻计算,帮助缩短芯片制造的时间周期,并推进半导体物理学的发展。
KooDSS 是一个稀疏求解器库,支持 5G 无线电堆栈实时运行。
CUDA-Q 用于量子模拟和量子电路模拟。
Parabricks 支持基因测序。
UVS 是一个用于 AI 向量数据库的库。
KooPy numeric 是一个数值处理库,已全面支持多 GPU 和多节点。
还有 KooDF、KuOpt、模量和 KooDNN 等,用于不同的计算需求。特别是 KooDNN,用于深度神经网络的处理,使得深度学习和人工智能在过去十年中得以 100 万倍扩展,从而实现了诸如 chatGPT 等惊人突破。
从过去的 软件 1.0(由程序员编写算法代码)到如今的 软件 2.0(机器学习,通过 GPU 上的神经网络实现的操作系统)已经发生了翻天覆地的变化。现代计算机的操作系统,如大型语言模型,能够理解并生成智能信息,进行多模态操作。我们可以通过文本、语音、图像、视频等数据模态来实现智能处理。例如,可以用文字解释蛋白质的功能,描述化学品的特性,甚至控制机器人。这种能力正带来新行业、新公司、新应用的“寒武纪大爆发”。有充分的证据表明,随着我们扩大模型规模,训练数据量、数据的有效性和质量,以及智能的性能都得到了提升。每一年,业界都在将模型的规模扩大约两倍,因此需要两倍的数据量,进而需要四倍的计算资源。推动人工智能迈向更高计算资源需求的进程是非凡的。我们称其为“缩放定律”,也就是“训练缩放定律”。
训练过程包括前训练、训练和后训练。现在,后训练阶段还加入了合成数据生成的多种方法。训练、前训练和后训练都在显著扩展,我们将持续看到出色的成果。当 OpenAI 推出了 o1 版本时,向世界展示了一种新的推理模式。推理指的是您与 AI 互动,例如 ChatGPT。ChatGPT 只是初步尝试,您可以问它问题,它会基于您的提示给出一个答案。然而,我们知道,思考往往不仅仅是一次性的,通常需要多个步骤和多个可能的答案,以便选择最优的答案。
我们发明了许多不同的技术,使得随着计算量的增加,推理的性能也在提升。现在我们有了第二个“缩放定律”——“推理缩放定律”。不仅仅是生成下一个词,而是涉及到思考、反思和规划。这两个同步的缩放定律将推动我们以非凡的速度提升计算能力。每当我们交付新一代产品和新架构时,都会显著提升性能,并以相同比例降低功耗和成本。因此,提升性能与降低成本和能耗密切相关。随着全球继续接受并拥抱人工智能,这也是我们的使命,我们有责任尽可能快地提高性能、扩大人工智能的应用范围、提高其有效性、降低其成本和功耗。这也是我们采取一年周期进行更新的原因。
但是,AI 并不仅仅是一个芯片问题。这些 AI 系统非常庞大,我们称之为 Blackwell 系统。Blackwell 不仅是 GPU 的名称,还是整个系统的名称。每个 Blackwell 芯片拥有 140 亿个晶体管,由 TSMC 在其最先进的 4 纳米节点制造出来。这些芯片通过每秒 10TB 的低功耗链路连接在一起,由 SK 海力士和美光的 HBM3E 存储器支持,每秒运行 8TB 的数据传输。每个 GPU 还通过 envy 链接连接到 CPU 和其他 GPU,使得整个系统可以协同工作。
这个系统的设计允许 GPU 作为整体来工作。为了实现这一点,我们利用两个 CX7 将 GPU 与成千上万个其他 GPU 连接起来。同时,我们还需要 envy 链接来支持多 GPU 连接,形成一个大型计算机系统。一个机架中有 9 个 envy 链接交换机,72 台计算机通过这条主干连接,这种连接称为“Envy Link 主干”。最终,我们能够将 72 台计算机连接成一个大型 GPU,从软件的角度来看,它是一个巨大的计算单元。这些机架中的每个系统都重达 3000 磅,功耗高达 120 千瓦。这个系统虽然不便携,但非常强大。
这就是 Blackwell 系统的全部设计。它可以被配置为超级集群,或是完整的数据中心,可以通过这些交换机连接成千上万甚至数十万台计算机。其中一些是量子 InfiniBand 开关。如果您想打造专用的 AI 工厂,可以选择 Nvidia Spectrum X,这是一种革命性的以太网系统,能够集成到现有的以太网环境中。我们可以用这些技术构建 AI 超级计算机,将它们整合到企业数据中心、超大规模企业,或为边缘设备进行配置。Blackwell 系统不仅强大,还具有极高的适应性,可以适应全球计算基础设施的各个角落。这就是 Blackwell。当然,除了 Blackwell 硬件本身,更重要的是其上运行的软件。没有这些软件,这台计算机根本无法运作。每当您看到这些计算机采用液体冷却和复杂布线时,您会不禁思考,如何为这样一台强大的计算机编程?这就是 Nvidia 的软件堆栈,包括 CUDA、镍、Megatron 核心、TensorRT、LLM、Triton 等多年来开发的软件,使得每个人、任何企业都可以在全球范围内部署 AI 超级计算机。
3、AI的定义
当然,最重要的是我们的 AI 软件,这让用户可以轻松构建 AI。那么,什么是 AI?什么是 AI?
我们以多种方式谈论 AI,但我认为有两种类型的 AI 将非常受欢迎。我个人非常喜欢这两种心智模型。第一个 AI 基本上是“数字 AI 工作者”。这些 AI 工作者能够理解、计划并采取行动。比如,它们可能被用于执行营销活动、支持客户、制定制造供应链计划、优化芯片设计、编写软件,甚至在药物研发行业中担任实验室助理。它们甚至可以成为 CEO 的导师,或是所有员工的数字导师。
这些 AI 工作者,我们称之为“AI 代理”,本质上就像是“数字员工”。就像员工一样,我们需要对它们进行培训。您需要创建数据来教它们关于公司的一切,训练它们特定的技能,视需求而定。完成培训后,您可以评估它们的表现,确保它们掌握了该学的内容。同时,您可以对它们进行保护,以确保它们只执行被要求的工作,不做任何超出指令范围的事情。之后,您可以部署它们,提供来自 Blackwell 系统的算力支持,让它们与其他代理协同工作,组成团队来解决问题。你将会看到各类不同的代理。我们创建了若干工具,使生态系统可以轻松为企业构建 AI 代理。Nvidia 本身并不提供直接的服务和最终产品,也不提供具体的解决方案,但我们确实提供技术来支持生态系统创建、交付和不断改进 AI。
其中一个工具就是 AI 代理生命周期平台 Nemo。Nemo 提供涵盖数据整理、训练、微调、合成数据生成、评估和安全防护等各个阶段的库,这些库已经集成到全球的工作流程和框架中。我们正与全球的 AI 初创公司、埃森哲、德勤等服务商合作,将这些工具带给各大公司。同时,我们与 ServiceNow 等 ISV 合作,他们可以使用 ServiceNow 平台创建 AI 代理。未来,ServiceNow 将为用户提供大量可租用的 AI 代理,即数字员工,帮助解决实际问题。我们还与 SAP、Cadence、Ansys 和 Snowflake 等全球公司合作,开发提升公司生产力的 AI 代理。这些代理能够理解、推理、计划并采取行动,它们是多个 AI 模型的集合或系统,而不仅仅是一个 AI 模型。Nemo 帮助我们构建这些代理,我们还创建了预先训练的 AI 模型,称为 NIM(Nemo 推理模型)。
这些 NIM 就像是微服务,实际上是“AI 打包件”。在过去,软件被打包成盒子,通过 CD-ROM 分发。如今,AI 被打包在微服务中,软件中包含智能。您可以与软件对话,因为它理解您的意图。您可以将此 AI 与其他 AI 相连接,组成一个代理,即 AI 代理。
4、AI 应用程序
让我给你们举个例子。Agentic AI 使用复杂的推理和迭代规划来解决多步骤问题,从而改变了每个企业。AI 代理通过即时洞察帮助更快地启动营销活动,优化供应链运营,并帮助分析师分类漏洞,节省数亿美元成本,将软件安全流程从几天缩短至几秒。
Agentic AI 之所以如此强大,是因为它能将数据转化为知识,将知识转化为行动。例如,一个数字代理可以从信息密集的研究论文中提取见解。它是使用 NVIDIA AI 蓝图构建的,这些蓝图包含参考工作流程、开发工具包和 NIM 微服务,帮助用户快速构建和部署 AI 应用程序。AI 代理分为三部分:NEMO、NIMS 和蓝图。这些都是参考资料,以源形式提供给您,您可以随意使用它们来建立您的 AI 代理劳动力。虽然这些代理无法 100% 完成任何人的所有任务,但可以帮助完成 50% 的工作。与其认为 AI 会取代 50% 的人的工作,不如认为 AI 将为 100% 的人分担 50% 的工作。人们经常问我,“AI 会抢走你的工作吗?”我总是回答:“AI 不会抢走你的工作,但别人使用的 AI 会抢走你的工作。”所以,请务必尽快开始使用 AI。
首先是数字 AI 代理,这些是纯数字的 AI。第二种应用则是物理 AI。同样的基础技术现在可以用于机械系统,也就是我们所说的机器人。可以肯定的是,机器人技术将成为世界上最重要的行业之一。
到目前为止,机器人技术受到了一些限制。在全球范围内,约 50% 的制造机器人产自日本,日本的公司如川崎、FANUC、安川和三菱等,构建了全球半数的机器人系统。虽然机器人极大地推动了制造业生产力,但它们的扩展性有限,原因在于它们的应用场景过于固定,缺乏灵活性,难以适应不同的场景和任务。
我们需要的是更加灵活、能够自我适应和学习的机器人。这种新的 AI 技术可以应用于“具身 AI”或“物理 AI”领域,即机器人技术。为了实现这一目标,我们需要建造三台计算机。第一台是训练 AI 的计算机,就像我们此前讨论过的例子那样。第二台是模拟 AI 的计算机,为 AI 提供一个可以练习、学习和从合成数据中获取知识的环境。我们称之为 Omniverse,这是我们的虚拟世界数字孪生物理 AI 库,可用于创建物理 AI,即机器人技术。
一旦模型在 Omniverse 中经过验证、训练和评估,便可以将其部署到实际的物理机器人中。我们有一款专为机器人设计的处理器,称为 Jetson Thor,这是一款专为类人机器人设计的处理器。就像有 Nemo AI 代理生命周期平台一样,Omniverse 平台也能帮助创建 AI。在这个系统中,AI 能够“看到”周围的世界,通过视频感知环境,然后根据指令生成关节运动。就像生成式 AI 一样,我们可以将文本转化为药物的化学结构、发音动作等。我们认为,随着 Omniverse 和生成式 AI 技术的发展,人形机器人的时代已经到来。人形机器人技术为什么如此困难呢?显然,这是一项极具挑战性的技术,但好处是非常显著的。实际上,世界上可以广泛部署的只有两种机器人系统:自动驾驶汽车和类人机器人。因为我们创造了适应汽车和人类的世界,所以这两种机器人可以在任何地方运作。这两种技术的成熟时机已经到来,其潜在影响将是巨大的。
上周的机器人学习会议上,我们宣布了一个重要的新框架,称为 Isaac Lab。Isaac Lab 是一个强化学习虚拟模拟系统,用于训练人形机器人。我们创建了多个工作流来支持这一过程。
第一个是 Groot Mimic,这是一个框架,允许机器人通过人工演示学习任务。然后我们使用“域随机化”方法来模拟环境,生成大量样本,以便机器人学会泛化。
第二个是 Groot Gen,它利用 Omniverse 的生成式 AI 技术生成大量随机数据,并创造多种环境和任务,以帮助机器人学习和改进。
第三个是 Groot Control,这是一个模型蒸馏框架,能够将机器人学到的所有技能和任务精简为一个统一模型,从而执行多种运动技能。
因此,这些未来的工厂将会是精心策划的机器人工厂,专门构建机器人的机械系统。让我给大家展示一下。
物理 AI 不仅体现于自动驾驶汽车这样的机器人,它们能够在现实世界中安全导航,还包括执行复杂工业任务的机械手臂,甚至与我们并肩工作的类人机器人。未来的工厂和设施将由物理 AI 支持,能够监控和调整其操作,甚至与我们交流。
NVIDIA 为开发者们提供了三台计算机,帮助他们创造物理 AI。这些模型首先在 DGX 计算机上进行训练,然后使用 Omniverse 中的强化学习物理反馈对 AI 进行微调和测试。经过训练的 AI 最终运行在 NVIDIA Jetson AGX 机器人计算机上。NVIDIA Omniverse 是一款基于物理的操作系统,用于物理 AI 模拟。机器人在 Omniverse 上的 Isaac Lab 中学习和微调技能,Isaac Lab 就像是一个机器人健身房。我们使用 Groot 工作流来生成多样化的学习环境和布局,其中包括 GrootGen,用于生成不同的学习环境和布局;GrootMimic,用于生成大规模合成运动数据;以及 GrootControl,用于实现神经全身控制。
但这只是单个机器人的应用。未来的工厂将会编排一整个机器人团队,并通过数千个传感器监控整体运营。对于工厂的数字孪生体,我们提供了名为 MEGA 的 Omniverse 蓝图。通过 MEGA,工厂的数字孪生体中可以填充虚拟机器人及其 AI 模型,形成机器人的“智能大脑”。机器人可以感知环境、推理、规划下一步行动,并最终将计划转化为实际操作。这些操作会由 Omniverse 中的世界模拟器在环境中进行仿真,结果则由机器人通过传感器感知。基于传感器仿真,机器人会决定下一步的动作,而 MEGA 则精确跟踪整个工厂数字孪生体中所有内容的状态和位置。
这种软件在环测试引入了软件定义的流程,使工业企业能够在物理部署前,在 Omniverse 的数字孪生中模拟和验证变更,从而大幅降低风险和成本。
6、重工业和机器人技术
AI 时代已经到来,正在改变全球的重工业和机器人技术。这是一个难以置信的时代。我们现在有两种机器人系统:一种是数字 AI 代理,它们可以在办公室中与员工协作;另一种是物理 AI,或者说是机器人系统,这些将成为公司产品的一部分。未来,企业将使用 AI 来提升员工的工作效率,同时利用 AI 来驱动其产品的销售。
未来的汽车公司将拥有两家工厂:一家生产汽车,另一家生产用于汽车中的 AI。这就是机器人革命。世界各地都在进行着这样的活动,而我无法想象哪个国家比日本更适合引领这一机器人工智能革命。日本不仅创造了世界上一些最优秀的机器人,还拥有丰富的电子技术专业知识。
在日本,我们有许多合作伙伴,包括东京理学研究所、乐天、南岸直觉、NTT、富士通、NEC、名古屋大学、Kodoba Technologies等,他们正在开发大型语言模型。还有很多合作伙伴正在构建 AI 云,例如 AI Clouds、AIST、SoftBank、樱花互联网、GMO 互联网集团、Hi-Rezo、KDDI、Rutilia 等,推动日本生态系统的蓬勃发展。许多机器人公司也开始利用 AI 的最新功能,包括安川、丰田、川崎和 Raputa。医疗成像系统方面,佳能、富士胶片和奥林巴斯等公司也在采用 AI 技术,以便未来的医疗设备更加自主,几乎像护士一样协助诊断,或者成为护士的 AI 代理。药物发现领域有许多方式可以利用 AI。我对这里的进步感到非常兴奋,希望能够更快地推动 AI 革命。
正如我之前提到的,计算机行业已经发生了根本性变化。从最初的在 CPU 上运行的编码,到如今在 GPU 上运行的机器学习,我们的行业从生产软件转变为制造人工智能。AI 不断在工厂中被生产出来,24/7 全天候运行。
当您获得软件授权并安装到计算机上后,这项软件的制造与分发已经完成。然而,智能从来都不是完成状态。您与所有的 AI 互动,不论是 AI 代理还是 AI 机器人,智能通过令牌表示。这些令牌构成了智能的单位,表达了多种形态的智能——从智能方向盘到自动驾驶汽车,从智能化的类人机器人到蛋白质和药物发现中的 AI 智能。
所有这些智能令牌都在这些全新的工厂中被生产出来。这些工厂以前从未存在过,是真正的新事物,因而我们在全球范围内看到了无数的创新与发展。
我们首次见证了一个新行业的诞生——一个生产全新产品的工厂,我们称之为“人工智能”。这些工厂将由企业建造,而未来将被应用于全球。
当然,每家公司都将成为 AI 的制造者。没有公司可以不生产、制造自己的人工智能。任何公司如何不生产智能?任何国家如何不具备自己的情报?您不一定需要生产芯片,也不一定需要生产软件,但您必须生产智能,这是至关重要的。这不仅是企业的核心,也是我们的核心。
7、AI工厂
因此,我们迎来了一个全新的行业——“人工智能工厂”,这就是我所称的新工业革命。上一次类似的革命发生在 300 年前,那时人类发现了电,并由此诞生了发电和配电系统,以及一种新型的工厂:发电厂。那个时代出现了一个全新的行业——能源产业。这种行业的产生是工业革命的一部分。而现在,我们迎来了计算机行业顶端的新产业,人工智能。
每个行业、每家公司、每个国家都需要创建自己的 AI。例如,制药行业、汽车行业、机器人行业都在创建自己的 AI。这就是一场新的工业革命。
今天,我有一个重要的宣布。我们宣布与软银合作,为日本引入并建设 AI 基础设施。我们将共同建造日本最大的 AI 工厂,它将基于 Nvidia DGX 系统构建。预计在今年年底或明年年初建成,届时它将达到 25 个 AI Exoflops 的计算能力。最近全球最大的超级计算机仅有一个 Exoflops,而这座 AI 工厂将拥有 25 个 Exoflops。为了分发这些 AI,软银将整合 Nvidia 的 Aerial,这是我之前提到的引擎,可以在 CUDA 上运行 5G 无线电。这样,我们就能将无线电、基带和 AI 计算整合在一起,从而将电信网络转变为 AI RAN。不仅可以传输语音、数据和视频,在未来,我们还可以传输“智能”——一种全新的信息。
这个网络将在软银遍布日本的 20 万个基站上部署,服务 5500 万客户。AI 工厂生产 AI,AI 分发网络则通过 AI RAN 来传输这些智能。此外,我们还将建立一个新的“AI 商店”,通过软银向 5500 万客户提供自制和第三方的 AI 应用。这些应用程序将基于 Nvidia AI Enterprise 构建,为所有人提供 AI 的便利。这项发展将带来一个横跨整个日本的 AI 网格,成为基础设施的一部分,甚至是最重要的基础设施之一。就像过去工厂和道路作为基础设施的一部分,支持商品的生产和分发;能源和通信基础设施支持 IT 革命一样,每一个新的基础设施都带来了新的经济机会和繁荣。
我对此次与软银在日本的合作感到非常兴奋。孙正义先生的团队也在观众席上,与他们的合作真是一次难得的经历,我们共同努力,开启一场通信网络向 AI 网络的转型。这是一项革命性的成就。这项成就意味着什么?让我们来看一个例子。我站在一个无线电基站的定位器下,这个基站可以接收到来自汽车的视频。基站配备了 AI,有视频和视觉智能,能够“看到”汽车所看到的,并理解汽车所处的环境。这个 AI 模型可能对于车内而言太庞大,但在基站上却足够运行。基站可以通过汽车传输的视频流来理解汽车周围的一切,以确保人们的安全。
这种技术应用在边缘环境中,可以确保安全。例如,它可以用于自动驾驶汽车的空中交通管制,或者将整个工厂变成 AI 工厂。举例来说,一个工厂可以安装多个摄像头,将视频流传输到基站,通过 AI RAN 中的 AI 模型监控整个工厂。借助 AI RAN,工厂已经成为一个智能体,您可以与它对话、了解当天是否发生事故、是否有异常情况,甚至可以收到每日报告。您只需要询问工厂,而工厂会利用 AI 分析一切并作出回应。如果需要,AI 模型也可以在 Softbank 的无线电基站上运行。
这种 AI 赋能的例子几乎是无穷无尽的。您可以将每一个物理场所都变成 AI,比如体育场、道路、工厂、仓库、办公室,甚至建筑物。您可以像和 ChatGPT 交谈一样与它们互动,询问它们的状态或问题。让我们来看看具体的应用场景。比如,您可以询问工厂:“过道的情况如何?是否有阻塞或溢出?”工厂会实时监控并回答您:“仓库的过道没有任何障碍物、溢出物或安全隐患。”您就像是在和工厂对话。如此一来,您可以与仓库、汽车、甚至建筑物对话,因为所有这些都变得智能化了。
谢谢大家!
二、对话环节
主持人黄仁勋:嘿,孙正义先生!女士们,先生们,让我们欢迎伟大的孙正义。
嘉宾孙正义:啊,伟大的黄仁勋先生!
1、移动互联网和AI区别
黄仁勋:让我告诉大家一些事情。我不知道你们是否知道,我在技术行业已经工作了很长时间,经历了从 PC 革命到互联网,再到云计算、移动云,直到如今的人工智能。回顾这些历程,我可以说,孙正义先生是唯一一位在每一个时代都选对了赢家并与之合作的企业家。是孙正义将比尔·盖茨带到了日本,也是他将杨致远带到了日本,更是他推动了中国的云产业,让阿里巴巴在中国崛起。此外,孙正义还将史蒂夫·乔布斯和 iPhone 引入了日本。很多人可能不知道,曾经在某个时候,孙正义是 NVIDIA 的最大股东。
孙正义:没关系,我们可以一起回忆那个时刻。
黄仁勋:(邀请孙正义坐下)您怎么做到的呢?您是如何选出这些创新者——每一场技术革命的引领者?您真的拥有百分百的成功记录。
孙正义:嗯,我觉得我只是很幸运。我生在一个合适的时代,遇到了像您这样伟大的企业家。这不仅是工作,更是一种激情,是梦想。也是一种直觉,能够感知到谁是真正的先驱者,谁是真正的创新者。我真的觉得自己很幸运。我们拥有同样的远见,就像狼能够闻到同类的气味一样。我想我们彼此间也有这样的感应。
黄仁勋:(笑)我不太喜欢这种心理形象!不过,孙先生,当您回顾历史上的这些转折点和技术革命时,您认为这一次有何不同?与之前的革命相比,这场人工智能革命给您的感觉是什么?
孙正义:嗯,我必须说,这是我经历过的最令人兴奋、最有活力的前沿。这一波浪潮的影响是百倍、千倍的增长。我完全有这样的感觉。从数学或工业的角度来看,虽然人工智能本质上是软件,但它却是一种完全不同类型的软件。您和我之前参与的软件行业,是一个工具行业。过去的软件是人类使用的工具,而这种新型的软件——神经网络,特别是大型语言模型、代理和机器人,不再仅仅是工具,而是具备了“技能”。它们可以执行特定任务,真正地完成工作。
这一行业的规模不仅仅是一个万亿美元的市场,而是一个百亿亿美元的市场。这也就是为什么我们意识到,这并不是 IT 行业的转型,而是每一个行业的转型,所以它如此重要。人类与其他物种的区别在于我们拥有超级大脑。正是因为脑力,人类才有如此强大的能力。如果只看肌肉的话,狮子和大象的力量远胜于人类,但我们拥有更聪明的大脑。今天 GDP 的每一项活动几乎都基于人类的大脑活动。因此,我认为每个行业都会受到这场 AI 革命的影响。
黄仁勋:是的,确实如此。而且,传统工业基于物质和原子的流动,因此它的规模是有限的——因为你可以移动的物质是有重量的,物理上的移动也是有限的。但 AI 行业则不同,AI 属于电子领域,它受量子力学的控制,理论上是可以无限扩展的。而智能的价值远远超过了物质的移动。AI 能够实现思维链和推理,这实在是太神奇了。
孙正义:黄先生,我们今天共同宣布的一项重要举措就是构建日本的人工智能网格。这个 AI 网格将包含用于开发 AI 模型的“AI 工厂”,还会有 AI-RAN(AI 无线接入网络)来在日本各地分发 AI 模型。我们共同开发的 AI 工厂和 AI-RAN 的架构确实是革命性的,全球没有类似的系统,日本将成为首个实现这一技术的国家。
2、搭建AI 网格
黄仁勋:其他电信公司将不得不跟随这一潮流。我想问您一些问题:首先,软银计划如何使用这个 AI 网格?您认为这个 AI 网格将如何彻底改变日本的 AI 发展?
孙正义:正如您刚才提到的,我们的手机信号塔以前只能传输用于电信和互联网的比特信息。然而,现在随着这个智能网络的构建,它将成为日本智能基础设施的“大脑”。这是非常了不起的!
黄仁勋:是的,您可以将这个 AI 网格应用于 LINE、Yahoo Japan、PayPay 等软银的子公司,从而为消费者提供更有趣、更实用的服务。
孙正义:没错,但我最兴奋的是,这个平台将为研究人员、学生和初创公司提供资源,帮助他们在日本蓬勃发展。在您的支持下,我们正在创建日本最大的 AI 数据中心。我和宫川先生讨论过,我们应该让许多研究人员和学生使用这个平台,同时我们还在考虑提供补贴,以便初创公司有更好的机会使用计算资源。
黄仁勋:基础设施建设的确非常资本密集。您在日本进行了巨大的投入。
孙正义:我们以前也谈过这个话题。在很多方面,日本在机械电子时代是世界领先的。在那次工业革命中,机械技术与电子技术的融合推动了日本的创新。事实上,甚至在消费电子领域,那个时代的日本确实领先于世界。但是,当 IT 行业和软件产业兴起时,日本出现了一些失误。我认为在过去的三十年里,随着西方和中国的软件行业蓬勃发展,日本本可以更积极一些。在那些日子里,甚至某种程度上在今天,日本的大企业、媒体、那些大块头们总是提到“Monozukuri”,也就是“制造实物”的意思。他们认为物理产品才有真正的价值和意义,而软件只是虚拟的东西,无法体现价值。这种心态在日本持续了很多年,这让年轻的创业者和年轻一代感到失落,尤其是在互联网泡沫破裂之后。那时,大家都在批评这个行业,我本人也受到了很多批评。这种环境让年轻人感到沮丧,仿佛是一种惩罚。
我认为,我们必须借助机器人技术和 AI 的到来重新点燃这种热情。就像您所说的,将 AI 智能融入机器人。日本的“铁臂阿童木”——我最喜欢的动画角色之一,不仅有强大的“肌肉”,还需要有“智能”,这样机器人才能像朋友一样充满热情,与人交流。我认为,这种前沿的挑战在这里是非常必要的。
黄仁勋:我认为软件时代已经到来。而好消息是,这是一个新时代的开始,一次重置的机会。
孙正义:重置按钮已经按下了。
3、人工智能与传统APP
黄仁勋:没错。这一切都在重置,整个技术堆栈也在重置,因为上一代的公司在新一代中表现不佳。因此,一个全新的堆栈和机会出现了,日本必须抓住这个时机。
孙正义:人工智能与传统软件不同,AI 需要数据和领域专业知识。如果你是艺术家、游戏开发者或者药物研究员,你就拥有领域的专业知识。你可以利用这些专业知识描述数据,用这些数据来训练 AI 模型,从而让模型成为你的专属 AI。幸运的是,日本政府至少没有试图压制这场 AI 革命。其他一些国家在这方面过于保护,对 AI 的监管有些过激。而在日本,我们很幸运,至少政府没有试图压制这次变革。
这是一次重置的机会,是迎头赶上的时刻,不能错过。要成为 AI 革命的一部分,需要抓住时机,还需要基础设施。这类机器学习软件需要大量的芯片和硬件支持。
黄仁勋:是的,谢谢你。没有基础设施,就不可能创造 AI。
孙正义:完全同意。这也是软银致力于在日本构建 AI 网格的原因。我们会催化这个过程,为这里已有的活动加上“涡轮增压器”。
黄仁勋:以身作则,我们希望今天在日本能够有 350 家初创公司崛起。我们合作的 350 家初创公司来自全球 22,000 家。确实是一个很大的数量。因此,我们必须鼓励更多年轻的企业家、创新者投入到 AI 领域中。基础设施即将到来!
孙正义:正如我所说,我和宫川先生在讨论,我们计划在日本建立最大的 AI 数据中心。我们将推出很多鼓励政策,提供算力补贴,让这些初创公司几乎可以免费使用资源,来测试他们的新模型和 AI 应用。
黄仁勋:我对此非常高兴。那么,孙先生,您对日本 AI 的未来最感兴趣的是什么?您的愿景和梦想是什么?
孙正义:嗯,正如您所说,我对 AI 机器人充满热情,但我也非常看好 AI 医疗解决方案。我认为医疗 AI 一定会到来。此外,我们有很多应用场景,比如 LINE、Yahoo Japan 和 PayPay,我们可以为日本人的生活方式打造很多特定的 AI 代理。这些代理不能只来自美国,而需要真正了解日本的行为、文化,以及与日本本地数据和 API 的连接。我认为每个人都可以拥有企业级的 AI 代理,也可以有个人 AI 代理。比尔·盖茨曾经说过,每个人都应该有一台 PC。史蒂夫·乔布斯则说,每个人的手里应该有一部智能手机。现在我认为我们应该说,每个人都应该拥有一个 AI 代理。这样,AI 代理可以帮助我们规划旅行、度假,甚至教育。我们的孙辈们从小就带着智能设备成长。他们习惯用手指与屏幕互动,即使是静止的照片,也会去触摸,希望图片能放大。而在未来,他们将看到一张照片时直接与之对话,并希望得到回应。
他们将拥有个人代理,就像他们的“第二个身体”,能跟随他们成长,了解他们的一切——他们的健康状况,甚至成为他们的导师。从他们还是孩子的时候开始,代理会记住他们读过的所有东西,记住它所教的一切。它几乎就像他们的“数字版亚里士多德”。
4、数字孪生技术
黄仁勋:这是数字孪生的概念。我也认为这确实会到来,尤其是拥有本土知识和文化的日本,未来拥有巨大的潜力。
孙正义:而且您知道,世界各国正在逐渐意识到本国的数据和公民的数据包含了本国的知识、文化和智慧。就像国家资源一样,这些数据属于这个国家,关系到国家安全。每个国家都应该掌控这些数据,将它们转化为 AI,为本国公民服务。将数据外包给其他人是没有意义的,这非常非常重要。这是一个“主权数据中心”的概念。每个主权国家、每个政府都必须拥有自己的数据中心,将他们的国家安全数据迁移到自己的 AI 数据中心。这已经成为各国必须拥有的基础设施,每个国家都需要国家安全和数据安全的保障。我认为未来每个国家都会拥有自己的智能。
黄仁勋:每家公司也都会拥有自己的智能,自己的 AI。公司就是智能的代表,这就像把你的大脑交给别人保管一样。
孙正义:没错,我认为世界正在觉醒于这个概念。AI 网格就像国家的道路系统一样,是一种基础设施。没有道路,就不可能有汽车产业。您已经为日本建造了 AI 的“道路”,各种新服务和新公司在此之上可以蓬勃发展。
黄仁勋:是的,我真的非常激动。孙先生,您能想象如果今天您还是 NVIDIA 最大的股东吗?
孙正义:哦,我的天啊,是的。我们尝试了三次呢!那时候,我对您说:“黄仁勋,市场不理解 NVIDIA 的价值。您的未来不可思议,但市场暂时还不明白。”他甚至想借钱给我买 NVIDIA 的股票!
黄仁勋:我现在很后悔当时没有接受。
孙正义:这是个绝佳的主意,对吧?然后我们还讨论过合并 ARM,那是第三次尝试。
黄仁勋:哦,是的,三次。现在,我们将共同创造难以置信的价值。
孙正义:是的,NVIDIA 和 SoftBank 将携手合作。我对这次合作满怀希望,特别是我们在日本做的这些事情,这仅仅是个开始。ARM 有许多移动和 IoT、汽车等领域的应用,而您在数据中心和游戏方面也有极大优势。我们可以有很多合作的机会。
黄仁勋:是的,孙正义先生。非常感谢,毫无疑问,您是世界上最伟大的企业家之一。
孙正义:不,不,不。您才是最伟大的。
黄仁勋:谢谢您,孙正义先生。你可以看到他对 AI 的热情。我们正在建立的合作关系将把一个 AI 网络带到日本的各个角落,从工厂到分布式 AI 终端。在我离开之前,我想欢迎大家参加这次 AI 峰会。我们在这里有许多会议,许多合作伙伴,我们的目标是与大家合作,将 AI 引入日本并激活这个市场,利用这次技术重置的机会,真正推动变革,为日本创建下一个伟大的公司。日本一直是我的宠儿。你们大多数人可能不知道,如果没有日本,NVIDIA 今天可能不会在这里。日本带来了世界上第一台 AI 超级计算机,并构建了 CUDA 超级计算机。多年来,日本一直是我非常重视的国家。
谢谢你,日本,举办了这场精彩的 AI 峰会!
原视频链接:https://www.nvidia.cn/events/ai-summit-japan/fireside-chat/
素材来源官方媒体/网络新闻
为伟大思想而生!
AI+时代,互联网思想(wanging0123),
第一必读自媒体
热门跟贴