同样一份数据,OpenAI说AGI近了,LeCun说还早。你信谁?在《Slay the Spire 2》这款数字卡牌游戏里,前沿模型连最低难度都赢不了一局——但换一种记忆方式,胜率直接翻倍。问题从来不是模型本身不够强。

AgenticSTS项目的研究团队来自Alaya Lab、上海交通大学和其他机构。他们选了一个刁钻的测试场:牌组构筑类roguelike游戏《Slay the Spire 2》。一轮完整的游戏流程包含数百个决策点——选牌、规划战斗、在地图上挑选路线、购买道具。规则可以完全转化为文本,随机性极高,单轮时长极长。据开发者统计,人类玩家在最低难度A0下的胜率是16%。而在AGI-Eval评估中测试的前沿模型,五个不同配置下没有赢过任何一局。

打开网易新闻 查看精彩图片

这正是研究者想要的:一个足够困难但又能清晰暴露架构差异的环境。他们发现,典型的语言模型智能体,如ReAct或Reflexion,会把过去的观察结果、工具调用和自我反思不断追加到下一轮提示词里。上下文随每一步决策膨胀,直到窗口溢出,或者模型的注意力被稀释。AgenticSTS的做法则完全相反。

每做一次决策,提示词都会从五个清晰划分的槽位里重新构建。L1存放固定的协议指令,L2存放状态模式和当前可用动作,L3存放检索到的游戏规则,L4存放过往轮次的摘要,L5存放针对特定情境触发的策略技能。智能体想要把之前的任何信息带到下一轮决策,必须先写入这些存储区之一。无论一轮游戏持续多久,提示词始终保持简短。由于每一层单独寻址,研究者可以精确锁定哪个组件真正驱动了性能提升。

为了对比效果,团队在最低难度A0下测试了五种配置,每种跑十轮。没有任何记忆层的情况下,智能体赢下10局中的3局。一旦开启L5技能库——用于存储应对重复情境的战术规则——胜率跃升至10局中的6局。不论这些技能是人工手写的还是通过模板生成的,结果都一样。研究者自己也承认,每种配置仅跑十轮,这个翻倍可能只是噪声。L4的情景记忆在A0难度下没什么帮助,但切换到另一个测试模式时就不同了:智能体每赢一局就尝试更高一级难度。此时,如果在轮次之间更新记忆,智能体可以推进到A6至A8级别;关掉这项功能,进度就会卡在A2到A4。

这项研究的核心结论很直白:前沿模型在长期决策任务上表现糟糕,根子不在推理能力不足,而在记忆机制不对。把不断生长的聊天记录换成结构化的槽位记忆,同一个模型就能从零胜率跳到六成胜率。对于那些正在用语言模型构建复杂智能体系统的工程师来说,这个发现指向一个更务实的方向——与其等待下一个更大参数的模型发布,不如重新设计信息如何在决策之间流转。