每秒只采集5帧游戏画面,却能输出30Hz的键鼠操作指令——米哈游《崩坏》系列AI研发团队公布的通用视觉语言动作基础模型“Gamer”,走的就是这条路线。
打开网易新闻 查看精彩图片
按研究论文及项目页面公开的信息,Gamer不读取游戏内部数据,也不依赖游戏专用API。它的输入是游戏画面,采集频率为每秒5帧(5 Hz);输出是相当于30 Hz的原生键盘按键状态及鼠标移动指令,模拟真人使用键鼠操作游戏的过程。2D和3D游戏都在它的覆盖范围内。
这套“看画面、出操作”的链路要跑长任务,绕不开两个坎:内存限制和推理延迟。团队的做法分三层:
- 用超过1万小时的跨游戏键鼠操作轨迹做持续预训练;
- 结合稀疏思维指令微调,以及时序感知强化学习做优化;
- 专门开发推理引擎“Streaming-vLLM”。
第三项带来的数字变化最直观。在NVIDIA H200硬件环境下,该引擎将端到端请求延迟从1306毫秒降低至65.12毫秒。对需要连续响应画面变化的操作型任务来说,这个量级的压缩决定了模型能不能跟上游戏节奏。
实机演示选在了《崩坏:星穹铁道》,Gamer执行主线任务、探索场景并完成解谜挑战。测试数据方面,经过强化学习训练的Gamer-RL在40项此前未接触过的小游戏任务中,平均成功率达到49.7%,表现优于未经微调的通用模型。
能力展示之外,外界更关心这类技术会不会流向游戏外挂和自动化脚本。研究团队强调,Gamer是一项旨在探索交互环境通用智能代理的学术研究项目,潜在应用方向包括游戏测试、无障碍辅助以及人机交互研究。团队明确表示,不支持将Gamer用于游戏作弊、未经授权访问、利用安全漏洞,以及任何损害用户利益或破坏游戏公平性的行为。
数据层面的口子也收得很紧。出于数据安全考虑,米哈游研究团队目前仅公开了项目早期基础预训练研究阶段使用的通用文件,并未公开任何《崩坏:星穹铁道》相关训练数据,也没有发布使用该游戏数据训练或微调后的模型权重。
热门跟贴