加州大学伯克利分校、多伦多大学、Vector研究所，Anthropic等机构的研究人员arxiv发表一篇论文《连接点：大语言模型（LLMs）可以从不同的训练数据中推断并表达潜在结构》
在本研究发表之前，人们还不清楚 LLM 是否能在没有显式上下文示例的情况下从训练数据中推断出潜在信息，这可能会让大语言模型以人类难以监控的方式获取知识
研究人员提出并定义了"归纳性上下文外推理(OOCR)"概念： 一种新型的学习和推理能力，指大型语言模型能够从训练数据中分散的隐含信息中推断出潜在知识，并在没有上下文的情况下应用于下游任务。这个概念的提出为研究语言模型的推理能力提供了新的视角
研究人员们精心设计了五个不同领域的任务来评估OOCR能力，包括位置推断、硬币偏差估计、函数学习、函数混合学习和奇偶性学习。这些任务涵盖了不同类型的潜在结构，为全面评估模型的OOCR能力提供了基础
为了便于理解，做一个简单的示意图，如下
函数混合学习（Function Mixture Learning）是一种机器学习方法，用于在给定任务中结合多个不同的模型或函数来提高预测性能和泛化能力。其基本思想是将多个不同模型的优点结合起来，从而形成一个强大的预测系统。这种方法通常用于处理复杂的非线性数据或在单一模型难以取得最佳性能的情况下
奇偶性学习（Parity Learning）是一种涉及对称性和模式识别的学习问题，在计算理论和机器学习中有重要的应用
以下是研究一些重要发现
1.发现模型能够"连接点"
研究结果表明，即使在没有明确上下文学习的情况下，大型语言模型也能够从分散的训练数据中推断出隐含信息。这种能力超越了简单的模式匹配，展示了模型具有更高级的推理能力，模型的权重和激活正在以不透明的方式进行复杂的推理，LLM 正在多个训练示例中 "连点成线"
2.微调获得更优OOCR能力
比较了微调和上下文学习： 研究发现，通过微调获得的OOCR能力优于在上下文中学习的能力。这一发现强调了模型在训练过程中学习潜在值的重要性，而不仅仅是在单次前向传播中回忆记忆的训练示例
具体来说
经过微调后，LLM 无需提供任何上下文示例，也无需使用思维链推理，就能展现出非凡的能力：
a) 它能为函数 f 生成正确的 Python 代码定义
b) 它能计算 f^(-1)(y) - 找到能产生给定输出 y 的 x 值
c) 它能将 f 与其他运算进行组合，将 f 与其他函数依次应用。
这表明，尽管 LLM 从未接受过关于这些任务的明确训练，但它已在微调过程中以某种方式内化了函数的结构 从论文中研究表明，LLM 可以学习和处理更复杂的结构，如函数混合学习，而无需明确的变量名或有关潜在结构的提示
3.规模效应
观察到规模效应： 通过比较GPT-3.5和GPT-4的表现，研究者们发现模型规模越大，OOCR能力越强。这一发现为未来更大规模模型的发展提供了重要参考
4.AI安全
研究指出，OOCR能力可能对监控和控制语言模型获取的知识构成潜在障碍。这一发现对AI安全研究具有重要启示，提醒我们需要更加谨慎地考虑模型可能获取的隐含知识
局限
OOCR能力在简单领域中已经显现，但在更复杂的结构中仍然不够稳定和可靠
热门跟贴