在今年日本CEDEC开发者大会上，《学园偶像大师》（后简称学马仕）开发商QualiArts，以及QualiArts母公司CyberAgent，共同分享了他们对于AI技术在游戏平衡性优化方向上的应用实例。
在上一篇分享中，我们聊到学马仕的3D技术和细节打磨，如果说3D技术并非适用所有游戏，那么今天要聊的AI技术则更具备普适性。
学马仕的玩法比较独特，它的系统框架是类似《赛马娘》的养成模式，但在具体的每个养成环节中，学马仕又加入了名为训练课程，实为卡牌构筑（DBG）的模式。
所以学马仕项目组借助深层强化学习开发了两套卡牌游戏AI，以及一套平衡性调整支持系统，来解决游戏加入新卡牌后的平衡问题。
具体来说「平衡性调整的难点」。
学马仕里玩家需要先构筑卡组，在养成环节的课程玩法中，从牌山里抽取手牌并打出，同时卡牌产生的效果也会随情况而变化。
因此根据卡牌组合情况的不同，即使卡组里存在所谓破坏平衡的卡牌，开发组也很难通过人力准确地找到它。
所以，制作组对指定学习模型，尝试了一种将追加数据进行转移学习的方法。这种方法的效率远比重复「从头开始学习」的效率更高，把超过10天的学习过程，缩减到10个小时的水准。同时催生了「允许策划方完成模拟的平衡调整支持系统」。
01 什么是平衡调整支持系统？
如上所述，可成AI仅在第一次生成的时候使用从头学习创建的模型，然后会在添加主数据时执行迁移学习。这之后，AI会围绕新追加的卡牌构筑牌组，并于反复模拟和确认结果之后，如果没有问题就正式上线实装新卡。
如下图的这些控制台管理元数据，实际模型保存在 W&B（开发人员协作平台）中。无需输入参数，这是机器学习的典型特点，即使没有配套知识也很容易使用。
顺便一提，所有学马仕的卡牌效果说明，都是根据相关主数据自动生成的，因此可以动态检测其差异。
通过在游戏上线前运行上述系统，可以在上架前模拟超过1亿套卡组，累计课程训练次数超过10亿次。如果用真人来尝试做到这个结果，即使每次可成只算一分钟，也需要大约1900年才能搞定。
通过这么多次的模拟，制作组也能够发现在设计或测试游戏时没有注意到的细节，从而对平衡性调整产生很大的帮助。
具体的例子包括「防止顶级玩家的牌组变得相似」和「防止技能卡组合出现循环」。此外，一个衍生的好处，是这套技术也能帮忙检测游戏BUG。
02 「课程AI」的训练
项目组对于「课程AI」的要求如下：
1.任何情况下都可以打出任何牌；2.每次游玩的时间小于0.1秒；3.从添加新卡到确认结果的时间在36小时以下。
换句话说，AI需要以最高效率、最快速度为目标，在更改主数据后36小时内进行学习，并生成易于理解的模拟结果。
将上述模型与蒙特卡罗树方法（MCTS）的博弈树搜索方法相结合，我们可以不断接近更精确的最优行为。顺便一提，其背后的原理与计算机读取将棋或围棋的走法相同。
但上述方法的问题是计算时间较长，执行一个包含9个回合的课程，平均消耗的时间为1416.2秒。
作为解决方案，制作组采用了一种旨在使用「深度强化学习」来近似最佳游戏行为的方案。简而言之，就是让人工智能体验各种情况并通过反复试验来学习。
通过使用卡牌效果文本而不是游戏内的结构数据，该系统可以无视产品画面样式的变化，并且具有无需额外学习即可引入新卡牌的优点。
即使与制作组内熟悉学马仕的成员相比，课程AI有时在分数上还能胜过这些玩家，而且哪怕打法上的差别虽然只是一招，带来的差距也十分明显。
03 卡组构筑AI对LLM的应用
开发「卡组构筑AI」的目的，是为了发现可以破坏游戏平衡的得分最高的卡组。制作组认为，当AI打出极端高分的时候，往往会关联到太强的卡牌或卡组。
卡组探索算法采用了遗传算法。这个算法机制，会将两个卡组组合起来生成子代卡组，而后评估高分解法，再将优秀解法继续组合生成下一代，并在其中通过引起突发变化来寻找（近似）最佳解。
该算法一般用作黑盒优化的框架，但这次通过引入LLM向量化的卡牌信息，实现为灰盒优化算法。
具体来说，是在卡组集合中构建函数分布，并从高斯分布中进行点的采样，再根据有空位的点附近寻找卡牌，而后将卡牌加入卡组。如果方差大，则生成结果接近随机选择，如果方差小，则生成结果是亲代子代卡组相近。
以上尝试的结果如下：
让一个经过迁移学习的AI执行卡组探索时，设定卡组总数为20~30张牌、玩家初始卡组数量为6~8张牌、课程进行12轮，能看到，相比完全随机采样算法，生成的结果效率提高了约15%。
且不论此前业内「AI将淘汰99%从业者」的论断，至少当下来看，掌握更多的AI技术，确实也能帮我们提高研发效率，优化游戏素质。
消息来源：
https://www.4gamer.net/games/778/G077853/20240822052/
游戏葡萄编译整理
热门跟贴