打开网易新闻 查看精彩图片

来源： https://interestingengineering.com/ai-robotics/anthropic-claude-dreaming-memory-research

科幻小说长期以来都设想过能够思考、学习甚至做梦的机器。如今，Anthropic公司正在探索一个听起来完全来自科幻世界的想法。其最新研究考察了Claude如何在休眠期间重温过去的经历，纠正错误的记忆，并将所学知识整理起来以备将来交流。Anthropic公司将这一过程称为“做梦”，尽管它与人类的梦境几乎毫无关系。

这种方法允许 Claude 在空闲时间回顾之前的交互记录。它可以识别错误信息，完善现有笔记，并构建结构化的知识体系，供后续会话使用。该过程的灵感来源于人类大脑在睡眠期间巩固记忆的方式。

人类学研究所的研究考察了该系统的几个组成部分。其实验表明，选择性记忆和定期维护可以提高复杂、长时间任务的完成效率。

Claude的教学

Claude 可以在完成任务的同时将有用信息保存到内存文件中。然而，决定哪些信息值得存储却是个难题。记录每一次交互会造成混乱，而忽略重要细节则可能导致后续会话缺乏有用的上下文信息。

Anthropic公司使用《精灵宝可梦 红》测试了这个问题，游戏中克劳德需要探索游戏世界并获得徽章。研究人员在大约10000步游戏后对两个模型进行了比较。

Sonnet 3.7 几乎记录了它遇到的所有内容。它的内存目录包含 225 个文件夹，共 413 个文件，总计近 978,000 个字符。尽管保持着如此惊人的记录，该模型却只获得了一枚徽章。

Claude Fable 5 采用了截然不同的方法。它仅在三个位置维护了 10 个文件，使用了大约 43,400 个字符。该模型在其运行期间获得了四枚徽章。

较小的内存系统优先存储导航策略和游戏过程中吸取的经验教训。它还维护一个中央文件，其中包含当前目标和计划行动。

这种方法帮助克劳德避免重复处理那些已经可以从游戏界面获取的信息。它还保留了一些有用的发现，否则这些发现会在游戏会话之间消失。

做梦有助于纠正错误

记忆文件可能包含错误信息，导致后续的记忆过程将这些细节视为既定事实时出现问题。Anthropic 通过另一个宝可梦实验展示了梦境如何解决这个问题。

Claude错误地记录了月见山附近一家宝可梦中心的位置。这个错误导致它离开宝可梦中心后误判了位置，反复走过一条单行道，最终又回到了之前的路线。

离线复核改变了结果。Claude 将其存储的笔记与原始会话记录进行比对，发现了错误的位置。然后，它用正确的信息更新了记忆文件。

修正记忆后，克劳德重新进入月见山，最终抵达了华蓝市。而使用错误记忆的版本则反复遇到同样的障碍，始终未能完成旅程。

超越对话构建知识

人格心理学家还探索了梦境是否能将大型文档集转化为相互关联的知识库。这些系统类似于维基百科，各个页面之间相互链接相关信息。

其中一项实验涉及软件公司 Stainless 的约 35 万份内部文档。该文档集包含约 4.2 亿个令牌。

在128次课程中，克劳德利用这些文档中的信息逐步开发和完善了一个维基百科。它在25个评估问题上的表现从13%提高到了48%。

另一项合并文档实验也得出了显著结果。Claude 利用其维基系统，以 87% 的准确率回答了需要从多个文档获取信息的问题。而仅进行直接文档搜索的准确率则为 73%。

梦境还可以为未来的会话重新整理信息。克劳德可以将经常需要的细节移到易于获取的上下文中，同时将不太相关的信息保存在可搜索的文件中。

Anthropic承认，这种方法仍然需要谨慎管理。内存维护会消耗计算资源，过多的信息可能会影响后续会话。

研究人员认为，智能体必须学习何时保留信息以及何时重新访问信息。他们的实验表明，更好的记忆管理可以帮助克劳德在多个会话中处理日益复杂的任务。