成为全球游戏行业最具影响力的价值连接者
游戏日报2026 GDC全球合作与报道通道（点击图片了解）
AI已经在深刻影响头部游戏公司的旗舰新品了。3月10日（太平洋时间），在美国旧金山举办的GDC 2026现场，腾讯魔方工作室AI负责人廖诗飏以《异人之下》的开发应用为例，分享了魔方AI探索的最新成果。
演讲中，廖诗飏谈及传统动作游戏无法以动捕做100%填充，游戏进程中许多关键动作依赖数学模型计算，以至于存在僵硬、穿模等问题。AI技术部署后，路径从“游戏程序去播放”转为“体验过程中实时生成相关动作”，保证了更多细节上的流畅合理性。
据其所言，这一探索的核心原因是“追求更佳美术表现”但“传统方案难以满足”。
AI是今年GDC最受关注的话题之一，腾讯游戏也是其中唯一体系化、规模化分享游戏AI应用和实践案例的厂商，强调“具体应用和实践AI，解决研发生产问题、优化玩家体验”。而GDC 2024就开始讲AI应用的魔方，是我最早关注到腾讯在该方向做出探索的团队。
借GDC的机会，我们与廖诗飏就此进行了交流。廖诗飏告诉我，魔方思考方式与“大数据喂AI”的普遍做法不同，更多参考“人类学习知识并思考应用”的模式，朝轻量化、小数据的实用路径走。团队也更强调如何用AI提升体验，与腾讯游戏务实风格一脉相承。
以下为采访实录：
游戏日报：今年GDC演讲聚焦《异人之下》案例和2024年的《火影忍者》均是动作游戏，魔方AI在它们的应用探索上有何区别？
廖诗飏：2024年主要是讲强化学习在动作游戏里应用，我们开发了一套针对动作游戏的训练系统，同一套技术也应用在了《异人之下》，但今年并没有单独拿出来说。
简单介绍下，体验上与玩家对战的经强化学习训练出来的AI是比较聪明的，动作没有那么重复，而且不容易让玩家找到行为模式，这是强化学习比起传统行为树做法比较大的优势。相比《火影忍者》，《异人之下》不再只是一对一的游戏，因此AI训练也会有所改变。
今年我们聚焦谈的是AI做动作动画生成，《火影忍者》项目上我们尝试不多，而《异人之下》毕竟是一款较为逼真/像真人动作的3D产品，我们重视动作呈现的效果，也因此为它探索了新技术来提升动画品质，这对玩家而言可能也是新体验，“没以前那样容易穿模”。
游戏日报：所以决定我们探索方向的是产品？
廖诗飏：是的，应用要看游戏的重点、痛点在哪里，魔方AI团队是帮助产品团队去解决他们的诉求，一直以来我们的工作都是如此。
游戏日报：具体来说你们与项目组是怎样的合作方式？
廖诗飏：魔方的AI团队成立了五年，一开始就是做《火影忍者》的强化学习技术，当时人力不足，我们就集中地做一件事。后来有了这个成功案例，其他团队都觉得挺好，他们都想应用，慢慢地探索的领域就越来越多了，包括资产生成、动画技术、人机交互、大模型等等。
后面几天也会有《洛克王国：世界》团队的分享，这款产品里的AI系统也是我们在做，它可能会是魔方工作室应用AI技术最全面的一款产品。
游戏日报：您曾谈及AI+游戏的两大方向AI for Game、AI in Game，在前几年全球在讲的更多是前者，但您自2024年以来在GDC都是聊AI in Game，为什么？
廖诗飏：in Game是改变或者是提升这个游戏的体验，for Game是用AI来辅助游戏的生产。for Gam相对难以被感知，比如你生产一个美术资产的流程，从100个人/月变成30个人/月，提升了70%，但玩家体验视角里是不了解的。我个人更想要去做玩家能体验到的事情（也就是in Game），那感觉会更好玩。
游戏日报：AI发展真能带出“非AI做不到的体验”吗？
廖诗飏：举个例子，我去年在GDC发表的AI队友，能够用自然语言与队友交互，这是没有大语言模型时AI完全做不到的，是非常真实的改变。以前完全不行，只能够通过按热键让其实现某些动作，但那是没有目标的，你可以让它攻击、防守、撤退，但不能告诉它攻击哪里，这就是根本的交互模式的改变了。它肯定是真的，是其他技术做不到的。
游戏日报：为什么今年似乎AI in Game突然爆发了？
廖诗飏：我觉得这不是一种转变，而是一直在做。你能看到我们在讲的是AI in Game，以AI NPC为例，它呈现出来非常直观、非常显眼，但并不是说在这之前的工作就没有做。大概三四年前，魔方已经在用AI进行游戏平衡性的测试了。
传统开发流程中，角色平衡性往往依赖上线后的玩家反馈来修正；AI的应用则支持在新角色发布前完成强度模拟与平衡预研。另外还有AI做地图BUG的测试，也是很常见的AI辅助游戏生产的领域。
像之前说到的，这些和提效类似，如果我不讲，玩家就不会知道。而随着AI全面应用到不同的生产过程，用户自己注意到了突出表现，同时大家说的也多了。
游戏日报：国内外目前在AI应用上出现了较大差异，您怎么看？
廖诗飏：中国的公司是全面拥抱AI技术潮流，大规模投入应用。海外目前还普遍存在游戏公司员工、游戏玩家担心AI介入会带来负面影响的状况，这是个大家都能看到的原因。
另一方面我认为是游戏品类不同带来的差异。国内流行的产品很多偏向PVP，海外内容单机居多，这也会影响AI技术的应用。服务于PVP体验，国内很多厂商多年前就已经开始研究用机器学习来提升体验了，海外则更关注智能NPC(追求人与NPC的交互流畅、不重复)以及UGC生成等。这决定了研究方向差异。
举个例子，之前我们的F.A.C.U.L.技术，即《暗区突围》智能NPC技术，2025年我在国外做过好几次研究分享，在欧洲、美国都有。我一讲到这个话题的时候就非常受欢迎，那些游戏开发者就有非常多问题想问，他们都想做到这种技术，关注度比其他技术高很多。
游戏日报：如今国内应用AI的维度越来越多了，您认为会引动全球改变吗？
廖诗飏：有可能吧。起码我们2025年在GDC发布的F.A.C.U.L.技术在全球来说是有些领先的。我今年1月去了新加坡的AAAI发表F.A.C.U.L.的论文，这是在学术界的AI顶会中首次出现的游戏中人机交互技术论文。技术探索领先，也就会受到国外公司的关注。
附现场演讲：
《异人之下》是我们工作室即将推出的免费格斗游戏，游戏中每位角色都有专属技能、独特的动作表现和语音台词，人物塑造与战斗策略各有特色。精美的画面和流畅的动画，是这款游戏的核心亮点。我们团队研发了全新解决方案，借助生成式AI技术优化角色动作——角色动作的流畅度直接影响玩家体验，我们运用动作生成技术优化动作细节和转场动画，让快节奏格斗中的角色动作更丝滑、更自然。
为何我们要为格斗游戏研发这项技术？
格斗游戏中，角色动作状态需要不断切换：从战斗到待机、从攻击到冲刺再到奔跑，可能的动作转场组合数量极多。我们无法通过动作捕捉完成所有转场动作的采集，动画师也难以手动制作全部转场效果，因此需要一种能实时生成动作过渡帧的高效方案。
传统解决方案存在诸多问题：插值算法常会导致角色脚部滑步；逆向运动学（IK）虽能通过调整脚部位置减少滑步，但生成的动作仍显僵硬、细节不足。而基于高质量动画数据训练的AI方案则不同，它能适配不同场景，生成更自然、流畅的动作转场效果。
和多数同类技术一样，传统方案需要庞大的动画素材库，占用大量内存，且为每个角色定制转场动画的成本极高，泛化能力也很差。比如，若角色更换待机姿势，就需要对核心功能参数进行大量微调，这也是我们探索生成式AI方案的核心原因。
生成式AI方案具备显著优势：能稳定生成动作过渡帧，相关的两阶段Transformer模型和基于视觉的过渡生成技术，可适配多种角色和动作状态，生成的动作自然、连贯；部分方案还能实现实时可控，效果值得期待。
但AI方案也存在短板：推理耗时过长，难以适配游戏实时运行需求；模型占用内存大，会增加游戏安装包体积；且现有技术大多在常规场景下验证，针对功夫格斗这类游戏场景的实际应用案例和相关数据十分匮乏。要将这项技术落地游戏，我们必须解决这些问题。
本项目有三大核心研发目标：从技术美术角度，要在减少人工工作量的同时，保证动画视觉效果；从游戏设计角度，要保证动作时机和节奏精准，缩短研发周期，避免动作穿模和强制滑步；从游戏开发工程师角度，要控制安装包体积，缩短推理耗时。唯有同时实现这三个目标，才算形成一套完整的解决方案。
下面为大家介绍我们的整体技术方案：数据层面，采用无标记多视角动作捕捉技术，优化捕捉流程和数据标注方式，同时做好数据筛选与精修；模型层面，采用轻量级设计，精心设计输入输出特征，通过损失函数优化提升整体效果；落地层面，实现对不同骨骼结构的适配，处理动态位移与旋转、动画节奏、帧同步、穿模规避问题，并针对小幅度奔跑转场做动作节奏匹配。据我所知，这是AI动作生成技术首次在免费格斗游戏中落地应用。
这是我们的技术流程：当动作转场触发时（比如从受击状态切换至待机状态），AI模型会预测转场过渡帧并完成推理，随后通过后处理优化效果，最终将生成的动作帧输出到游戏中展示。整个流程包含数据采集、模型训练和游戏落地三个核心环节。
接下来讲解高质量动作数据的采集与优化方法。传统动作捕捉需要大型专业场地、昂贵设备，还需在演员身上贴满标记点才能完成采集；而我们现在仅需在小型空间内，通过7台运动相机就能实现动作捕捉，成本大幅降低。我们通过三角测量法定位关键点位，获取实时位置信息；采用惯性传感器修正脊柱旋转角度，替代传统面部标记点方案，面部动作捕捉效果良好，且无需在演员身上粘贴标记点，这是一套低成本的动作捕捉方案。
在数据增强方面，我们首先做了空间增强：沿前进轴做镜像对称处理，在控制成本的同时，丰富了数据的多样性。动作捕捉数据的帧率往往与游戏所需帧率不匹配，我们通过缩放处理，让更多数据适配目标帧率，且尽可能降低失真，这样就能训练出更贴合具体游戏场景的模型。基于单条真实的动作样本，我们能生成更多高质量数据——替换并融合不同的初始动作，保留相似的运动趋势，既丰富了数据集，又无需额外采集大量原始数据。
接下来介绍模型设计。我们采用多特征编码器和LSTM模型，输入为起始姿势和目标姿势两帧画面；设计了当前状态编码器、目标状态编码器、偏移编码器和未来状态编码器，分别输出起始与目标姿势的位置、旋转信息，以及两者的差异和目标姿势的运动趋势。这项创新设计，能有效优化大位移的动作转场效果。
模型的解码器采用分离式设计：一是混合专家（MoE）解码器，用于生成过渡帧；同时配备通用解码器，以及专门的上半身、下半身解码器，并融入面部和手部动作信息，提升动作完整度。模型每次仅预测一帧画面，重点优化下半身动作的预测效果，既能提升腿部动作的自然度，又能有效避免滑步问题。
我们采用循环回归推理方式，模型接收起始姿势、目标姿势和当前状态，逐帧生成过渡帧。这种序列化推理方式能实现高效执行，满足游戏的实时运行要求，游戏的动画系统无需等待即可完成动作渲染。
损失函数的设计融合了旋转、位置、全局坐标等标准指标，同时增加了防脚部滑步、速度和接触检测相关的额外损失项；针对脚部接触规则，还增加了全局速度正则化，避免位置突变。屏幕上的公式，定义了滑步和接触检测的相关计算项。
简单介绍一下模型性能：FP32精度的模型体积约15MB，推理耗时0.75毫秒；我们对模型做了动态量化处理，由于LSTM层占模型权重的80%以上，对LSTM层的量化能实现性能与效果的平衡。量化后的模型体积约6MB，推理耗时仅0.4毫秒，位置偏差控制在1以内。
接下来介绍技术的游戏落地方案，以及如何提升玩家体验。这是我们的游戏内落地整体架构，采用了上下文模型的通用接口。异步推理模式下，渲染端直接调用推理结果，动画系统无需阻塞等待。
我们通过偏移动作处理，适配不同的方向和空间变化：位置方面，输入检测到的动作位移，输出实际位置与目标位置的差值，以此生成帧序列；旋转方面，输入预测的旋转值，据此修正全局旋转角度，屏幕上的公式展示了旋转差值的应用方法。
模型支持多角色适配，基于统一的骨骼结构完成训练，通过计算模型骨骼与各角色骨骼的身高比例，实现动作的映射适配，按该比例调整位置和旋转参数，即可让同一套动作适配正常身高、矮个子和高个子角色，同时规避武器穿模问题。
武器与角色模型穿模，是游戏动画制作中最棘手的问题之一，武器的合理位置也是本项目的核心优化点。我们将原有的转场目标姿势调整为过渡姿势，把AI模型生成的转场动作与美术资源结合，拆分运动捕捉控制器（PMC），避免武器穿透角色模型。这套方案同时适用于“动作转过渡姿势”和“过渡姿势转待机姿势”两种场景。我们将AI生成的转场动作与奔跑循环动画做帧匹配，当角色从转场动作切换回奔跑状态时，后续动作帧能保持连贯，消除动作卡顿，让整体表现更自然。
目前，我们已实现方向与空间适配、多角色兼容、动画帧调整、武器穿模规避和帧匹配等功能。这些后处理和落地环节的技术方案相互配合，最终让游戏内的角色动作更流畅、更自然。
现在为大家展示游戏内的实际效果，主要有三个案例。第一个案例：角色长距离移动后回到待机状态。左侧采用传统IK方案的角色，出现了明显的脚部滑步，姿势也较为僵硬；右侧AI生成的动作则自然很多，即便是大位移的动作转场，效果也有明显提升。
AI方案相比传统方案的优势十分显著。比如角色从滑步切换至奔跑的转场动作：左侧传统方案的角色，转弯时动作生硬；右侧AI生成的动作则自然流畅，同时还能保证操作的响应速度。
最后一个案例：武器展示的穿模问题，这一直是游戏动画的痛点，传统方案中角色与武器常会出现互相穿透的情况。大家可以看到，右侧AI生成的动画完美解决了武器穿模的问题。
接下来介绍生产效率的提升效果。针对单个动作：传统方案需要约30分钟完成动作捕捉，1小时进行后期精修；而我们的新方案仅需5分钟捕捉动作，15分钟完成精修，单动作的制作时间大幅缩短。此外，传统方案需要930条动作捕捉素材，才能覆盖930个动作，素材与动作的配比为1:1；而我们的新方案仅需445条素材，就能覆盖相同数量的动作，配比降至0.48:1。
采用新方案后，美术师无需再制作大量的辅助动画素材，开发工程师也无需为转场动画做大量的参数配置。虽然项目初期需要采集更多数据作为训练基础，但后续新增角色时，仅需少量的动作捕捉数据即可适配，素材与动作的配比还会持续降低。
接下来对今天的演讲做一个总结。本次我们主要分享了三项核心成果：第一，研发了基于AI的无标记多视角动作捕捉系统，同时优化了工作流程和数据整合方式，提升了数据采集效率，降低了采集成本；第二，精心设计了轻量级模型，实现了游戏内的实时推理应用；第三，结合AI技术与传统动画技术，解决了技术落地过程中的各类难题。数据、模型、落地三大环节的技术方案相辅相成，才形成了这套完整的AI动作生成解决方案。
以上就是我今天的全部分享，谢谢大家！
敬请关注↑↑↑
立即登记！
热门跟贴