苹果宣布推出 ReALM 模型：一种利用大型语言模型解决参考指代问题的新方法。在人工智能领域中，解决参考指代问题是理解并成功处理不同情境的关键任务之一。这一问题不仅涉及对话历史中的上下文，还包括用户与设备交互时感知到的非对话实体，例如屏幕上显示的实体或后台运行的实体

参考指代是指在人类交流过程中，特别是在自然语言中，当某个词语或短语没有明确说明其所指的对象时，需要根据上下文信息推断出它的实际意义。例如，在对话中提到“他们”或“那个”，听话者需要结合之前的话语和当前情境才能理解所指的具体人物或事物。这种现象在人机交互中尤为重要，比如在对话式AI助理中，如果用户说“播放这个”，那么系统需要理解“这个”指的是哪一首歌、哪一部电影或其他可能的媒体项目，而不是电话号码或者地址

ReALM（Reference Resolution As Language Modeling）这项研究关注的是如何运用大型语言模型（LLMs）解决这类指代解析的问题，尤其是在非对话实体的情境下，例如用户界面上的元素。研究团队创新性地将屏幕上的实体及其上下文信息转化成语言模型可以理解的形式，以便模型能够对用户的指令做出正确的响应，无论是基于实体类型的指示（如“播放这个”对应歌曲或电影）、描述性属性的指代（如“时代广场的那个”指向特定地点或商家），还是混合型的指代（如“播放太古里那首”或“去太古里的那个地方”的导航请求）

关键创新点‍‍‍‍‍‍‍‍

文章的主要创新点是将复杂的参考解析任务转换成一个语言建模问题，并展示了如何有效地利用大型语言模型（LLMs）解决这一问题，尤其是针对非对话型实体（如用户屏幕上的内容）的指代解析。传统的参考解析系统往往依赖于手动搭建的分类模块、基于规则的手工特征工程以及独立考虑每个实体与查询相关性的方法，这些方法难以扩展至新的实体类型，也无法充分利用语义相似性带来的正向迁移效应，并且缺乏真实世界的理解能力和常识推理能力。

在此背景下，作者提出的ReALM方法通过精细的模型微调流程，改进了现有参考解析系统的不足。具体来说，研究者采用了FLAN-T5模型进行微调，并且不局限于单一模态输入，而是创造性地将屏幕上显示的实体信息转化为文本形式，同时保留其位置信息，这样使得LLMs能够理解屏幕上下文并与对话上下文相结合，共同服务于当前用户查询的实体识别

实验结果表明，ReALM系统在各类指代解析任务上取得了显著的提升，即使是对于资源受限的移动设备（如智能手机），由于计算力有限和延迟约束，仍能表现出优越的性能。相比于专门为参考解析任务设计的基线系统，实验表明，该方法在不同类型指代上的性能均显著优于现有的同类功能系统，对于屏幕实体的解析，即使是最小规模的ReALM模型也实现了超过5%的绝对提升，并且在GPT-3.5和GPT-4上进行了基准测试，结果显示最小的模型达到了与GPT-4相当的表现

结语

研究人员通过将参考解析转化为语言建模问题，从而利用LLMs创建一个极为有效的系统来解决各种类型的指代问题，包括那些传统上难以仅用文本形式有效表达的屏幕实体。

此外，研究还着重探讨了如何通过合成数据集、模板生成的数据以及屏幕抓取的真实数据等多种方式收集和标注数据，训练模型更好地处理不同类型和来源的指代解析任务。

⭐星标AI寒武纪，好内容不错过⭐

用你的赞和在看告诉我～

苹果开始发力AI了