2024 年,OpenAI 曾开价 5 亿美元,想买一个游戏录屏产品。
它叫 Medal,在全球有 1700 万月活用户,覆盖上万款游戏。当玩家打游戏时按一下键,它就能帮助把前几秒的画面就自动剪成短片,保存、分享。
但 Medal 创始人皮姆·德·维特拒绝了 OpenAI 这笔交易,并在一年后自己下场基于 Medal 孵化出一家 AI 公司 General Intuition —— 专门拿这些游戏数据,训练能感知、预测,能在“虚拟与物理环境中行动的新一代模型”。
这个从游戏视频到世界模型的故事,有不少大佬买单。
就在前几天,General Intuition 官宣自己拿到了 3.2 亿美元的 A 轮融资,投资人有亚马逊创始人杰夫·贝索斯和前 Google CEO 埃里克·施密特的机构。
此时它的估值已经达到 23 亿美元,比一年多前 OpenAI 的收购价高了 4 倍。
不只是 General Intuition,最近新盯上游戏数据的公司不在少数。
今年 5 月,位于美国旧金山的 Origin Lab 宣布拿到了 Lightspeed 领投的 800 万美元,做的事也是把游戏里的数据整理出来喂给 AI。
这个月,英国剑桥又冒出一家 Worldmodeldata。它拿了 700 万英镑种子轮,同样是收集游戏数据训练 AI,尤其是世界模型。
OpenAI看上的不是视频,是你按了哪个键
这几家公司里最受关注的,是接连得到 OpenAI 和亚马逊创始人贝佐斯青睐的 General Intuition。
用游戏数据结合 AI,不算一件很特别的事情,像强化学习、数据合成、仿真这些场景,都有游戏的存在。
但基于 Medal 长出的 General Intuition 有着自己的特殊性 —— 它的数据看起来更适合训练世界模型,用在机器人场景。
想象一下,如果只拿一段普通的 YouTube 游戏直播数据喂给模型,只能让它学到这个世界长什么样,学不到玩家做了哪个动作、动作之后世界怎么变。而机器人大模型要学的精髓,恰恰是后面这半截。
Medal 的数据能留住这些关键信息。
它的录屏软件,在录画面的同时还以第一人称视角把玩家的操作记了下来(官方说做了隐私处理),像按键、鼠标移向哪里,都会带着时间和操作数据。
再加上,玩家爱上传的一般都是打得特别好或者翻车特别惨的精彩片段。这种极端案例,往往在现实生活中很难收集,也是 AI 训练最想要的。
这些年,Medal 的游戏视频数量已有每年 20 亿条,条条都带着这样的稀缺信息。攒到今天,Medal 已经成了最大的、带动作标签的视频数据集之一。
从Agent到机器人,都要“长脑子”
自立门户的 General Intuition 拿着这批数据,训了自己的模型。从公开信息看,它至少在做两类模型:决定动作的 action models 和预测动作结果的 world models。
CEO 皮姆形容自家的模型会在接收视频帧后,直接输出控制信号,不需要语言指令,机器人自己看了就知道下一步该做什么。也就是说,这个架构去掉了语言这一层,让机器人接收模型原生输出的操作信号。
General Intuition 模型的训练主要分为三步。
首先是用 Medal 的游戏数据做基础预训练。游戏里有精确的 action labels 做监督信号,模型学的是从“看到这个画面 + 做了这个操作”,到“世界变成了那样”的因果关系。
第二步是用世界模型生成仿真环境,充当"训练场"。世界模型能逐帧生成环境,具备初步交互能力的 agent 在里面自主探索、试错,不需要真实硬件。
第三步,用少量真实世界数据做微调,上真机。
今年 6 月底,TechCrunch 记者到 General Intuition 的办公室做了一次现场探访,报道里有两个场景引起了关注。
首先是在一台显示器上,有 Agent 在一个类似堡垒之夜的游戏里连续玩了 100 个小时。它背后没有真人玩家,是模型在自主操控。
第二个,是同一个办公室里的一台四足机器人正在来回走动。数据分析师抱着一台笔记本跟在机器人旁边,笔记本上实时显示机器人单目摄像头的画面。机器人被设置成"探索"模式,靠这只"独眼"自主导航,绕过人、绕过桌子,但偶尔撞上垃圾桶或者剐蹭椅子腿。
这两个场景背后,是同一个 General Intuition 的模型。 那台四足机器人的微调,据说只用了 8 分钟户外的真实数据。
另外,General Intuition 现在还在持续优化数据丰富度。由于游戏覆盖种类问题,Medal 的导航、瞄准、走位数据很丰富,但模拟驾驶、飞行控制、物理解谜之类的游戏还不够。
为补齐这些缺口,General Intuition 推出了一个叫 Nerve 的众包平台,让玩家用自己的游戏设备接任务赚钱。Nerve 可以按需采集特定类型的游戏数据,不用坐等现有用户覆盖所有场景。后续,他们还计划让玩家参与机器人远程操控。
这和现在很多具身公司如出一辙,从数据到模型,自己闭环。
还有,盯上游戏数据的它们
除了已经推出初步成果的 General Intuition,还有一批公司新盯上了游戏视频数据。
和传统数据标注类似,在游戏数据和世界模型公司之间,出现了数据服务商的生意。它们做的事,就是去跟游戏公司谈授权、把游戏世界里的数据合规地采下来整理好,再卖给有需求的世界模型公司。
美国公司 Origin Lab 和 英国企业 Worldmodeldata 做的就是这个,最近它们都拿到了融资。
Origin Lab,今年 5 月带着 800 万美元的种子轮出现在公众视野。
它的三位创始人兼具游戏和科技背景。
一位在 PlayStation 和 Xbox 工作过、后来开了家服务 EA、Riot、Epic 的游戏营销公司;一位是 Twitch 的早期高管、做到了首席战略官;还有一位是干了十年数据科学和机器学习的 CTO。
或许因为天生自带资源,Origin Lab 已经跟 20 多家发行商、50 多款游戏签了约。
位于英国的 Worldmodeldata 也在做差不多的事情。这家 base 剑桥的公司上周官宣融了 700 万英镑,团队不到 10 人。官网里,他们专门说自己的客户画像是世界模型和具身智能。
它的创始人 Rhea Loucas,厘清了自己和 Origin Lab 、General Intuition 的异同,说 General Intuition 是把数据留在自己手里、自己训模型,而 Worldmodeldata 只卖数据,给需要的实验室供货,定位和 Origin Lab 类似。
Worldmodeldata 的创始人也是游戏行业出身,董事长则是 Meta 前欧洲公共政策副总裁,是自带资源的创业者。
靠谱的和有疑问的
这个故事听起来很美,市场也在逐步火热。但看完这些信息,我的心里还是有点疑惑,拿游戏视频搞机器人大模型,在真实任务上到底有多靠谱?
我查了一些资料,发现这个事情已经有些验证。
比如一篇韩国团队和斯坦福大学的论文,今年被 ICLR 接收。这篇论文用游戏和桌面交互数据预训练视觉-动作模型,然后测试在真实机器人任务上的表现。
实验结果证明,这种方案在 LIBERO 操作基准上达到 96.6% 成功率,在 CANVAS 导航基准上 83.3%。他们还用一台 SO101 机械臂做了真实的抓取实验,发现预训练后成功率从基线 70% 提升到 80%。
论文的结论指出,数字交互中的感觉运动原语具有足够的不变性,可以有意义地迁移到物理具身任务。
但这个方向也有几道具体的坎。
第一个,是游戏操作是低维的,机器人关节是高维连续控制。
Medal 的 action labels 记录的是玩家的操作行为,像移动、瞄准、开火这些。键盘是几个离散按键,鼠标也只是二维的连续移动。但一台人形机器人走一步,可能就要同时协调几十个关节的角度、速度、力矩。
第二个问题也很严肃,就是游戏物理不等于真实物理。
让机器人学习到真实的物理世界,需要真实的感知。像游戏引擎里的碰撞检测和重力模拟都是简化版,这些到了有摩擦、有变形、有柔性物体的真实世界能管多少用,也很难说。
还有一个,是 Demo 和需求之间的鸿沟。
General Intuition 现场 demo 展示的是四足机器人走路。
走路,是四足运动里相对基础的能力,但具身智能的理想场景,是双足人形机器人可以在工厂、家庭环境中完成精细化操作。General Intuition 的 Demo 还不符合这些期待,只是先选了更适合游戏数据映射的四足机器人做试验。
至于更纯粹的送水人 Worldmodeldata 和 Origin Lab,能不能持续赚钱也得看下游需求的印证情况。
一个关键节点是,2026 年夏末,General Intuition 将向更多客户开放 API。到时候,第一批外部用户会有真实反馈。
在此之前,我们或许难以判断,游戏录屏里数十亿次按键操作,到底能不能教会机器在物理世界里可靠地干活。
资本此时给 General Intuition 的数亿美元,买的也不是答案,而是一张提问的入场券。
热门跟贴