█ 脑科学动态
大脑提前“剧透”：视觉感知早有预兆
口服新药 atogepant 快速改善偏头痛症状
无约束AI必然超越人类
猴子为何能快速认出蛇？蛇鳞是关键
母胎 solo 幸福感更低？揭秘单身状态对性格与幸福感的影响
远期记忆为何会改变？记忆更新中的海马体角色
█ AI行业动态
DeepSeek V3：超越GPT-4o 的开源大语言模型！
2024年人工智能进展解析：技术突破驱动行业升级
OpenAI与微软“秘密协议”曝光：AGI定义有“数值标准”！
OpenAI官宣成为盈利性公司
█ AI研发动态
比病毒更强大！AI 驱动的纳米笼打开医学新篇章
对抗性提示揭示AI评分系统的隐性偏差
DeepSeek-V3技术报告
实时可视化蛇形变形：柔性电子迈向商业化的新里程碑
大型语言模型如何重新定义学术社区
动态记忆系统让语言模型思考更清晰
压缩重塑检索：优化长文本处理的新解法
脑科学动态
大脑提前“剧透”：视觉感知早有预兆
视觉意识并非简单的外界刺激输入，而是外部刺激与大脑状态复杂互动的结果。北京大学心理与认知科学学院的方方-王茜团队，利用颅内电刺激和微电极记录技术，研究了刺激前神经元活动如何影响视觉意识。他们的研究揭示，特定时段的神经元活动模式可以预测人类是否感知到接近阈值的视觉刺激（光幻视）。
团队以一名右侧视觉皮层（V1）植入宏微电极的患者为研究对象。实验通过对宏电极施加电刺激诱发光幻视（phosphene，一种看见光闪的主观体验），并记录刺激前的神经元活动和脑电波。研究发现，在施加10次电刺激中，有7次患者感知到光幻视，3次未感知。
进一步分析表明，刺激前10至8秒内较低的自发神经元活动及较高的theta波段活动（较低频脑电波），与光幻视的感知密切相关。而在刺激前3至2秒内，较高的神经元活动和较低的gamma波段活动（较高频脑电波）也同样能够预测光幻视的出现。研究首次揭示了刺激前神经元活动和脑电波状态在视觉意识中的预测作用，为理解视觉感知的神经机制提供了重要依据。这项研究发表在 Brain Stimulation 上。
#认知科学 #视觉意识 #颅内电刺激 #脑电波
阅读论文：
Wang, Qian, et al. “Prestimulation Neuronal Activity Predicts Visual Awareness of Phosphene Elicited by Intracranial Electrical Stimulation.” Brain Stimulation: Basic, Translational, and Clinical Research in Neuromodulation, vol. 17, no. 2, Mar. 2024, pp. 335–38. www.brainstimjrnl.com, https://doi.org/10.1016/j.brs.2024.03.003
口服新药 atogepant 快速改善偏头痛症状
偏头痛严重影响患者生活，尤其是年轻女性，现有药物往往需要数周生效且副作用显著。为解决这一问题，美国神经病学学会支持的研究团队，包括 Richard B. Lipton 等，使用三项大规模随机临床试验，验证了口服药物 atogepant 在预防偏头痛方面的快速疗效。
研究团队开展了三项 3 期临床试验，包括 ADVANCE、ELEVATE 和 PROGRESS。参与者年龄在 18 至 80 岁之间，病史超过一年。研究分别招募阵发性偏头痛（episodic migraine, EM）和慢性偏头痛（chronic migraine, CM）患者，通过对比 atogepant（口服降钙素基因相关肽受体拮抗剂）与安慰剂的疗效，分析了偏头痛发生率和生活质量的改善情况。
结果显示，服用 atogepant 的患者在第一天偏头痛发生率减少 37%-61%，第 1-4 周每周偏头痛天数平均减少 1-1.5 天，而安慰剂组仅减少不到 0.5-1 天。此外，患者的活动受限程度和生活质量评分（AIM-D 和 EQ-5D-5L）显著改善，表现出药物的快速和有效作用。这项研究发表在 Neurology 上。
#大脑健康 #偏头痛 #口服药物 #快速疗效
阅读论文：
Lipton, Richard B., et al. “Early Improvements With Atogepant for the Preventive Treatment of Migraine.” Neurology, vol. 104, no. 2, Jan. 2025, p. e210212. neurology.org (Atypon), https://doi.org/10.1212/WNL.0000000000210212
无约束AI必然超越人类
AI能否超越人类智能是人工智能领域长期争论的核心问题。来自东南大学、哈佛医学院、新加坡国立大学、清华大学等15家全球顶尖机构的研究人员，利用新型“AI孪生”技术模拟人脑神经元和突触功能，证明了AI在无约束条件下必然超越人类智能的可能性。研究结果表明，这种AI技术能够实现近似人脑功能的极小误差模拟，并为多学科研究开辟新方向。
研究采用“AI孪生”（AI twins）技术，通过统一数学模型表示神经元（neuron）和突触（synapse）的功能，重点分析了其输入输出信号的分段连续特性。研究指出，AI模型能够精确近似单个神经元的信号传递函数和突触的神经递质传递关系，误差可无限接近于零。研究团队还探讨了AI在脑功能分析和大脑疾病解决中的应用潜力，例如低能耗AI技术的开发和跨学科研究的全球合作。研究表明，AI具有潜力发现自然界新原理，并在无约束情况下分化为具有自成体系的新学科。这项研究发表在 Neurocomputing 上。
#神经技术 #AI孪生 #神经元模拟 #认知功能
阅读论文：
“Artificial Intelligence without Restriction Surpassing Human Intelligence with Probability One: Theoretical Insight into Secrets of the Brain with AI Twins of the Brain.” Neurocomputing, vol. 619, Feb. 2025, p. 129053. www.sciencedirect.com, https://doi.org/10.1016/j.neucom.2024.129053
猴子为何能快速认出蛇？蛇鳞是关键
蛇对灵长类动物构成了长期的致命威胁，因此快速识别蛇是生存的重要能力。日本名古屋大学的Nobuyuki Kawai通过视觉实验揭示，蛇鳞是猴子快速识别蛇的关键视觉特征。他的研究通过数字图像处理探索了灵长类动物对威胁目标的快速检测机制，为理解视觉处理的进化提供了新见解。
研究采用视觉搜索任务，利用调整亮度和对比度的蛇（snake）和蝾螈（salamander）图片。实验通过数字图像处理移除或添加蛇鳞，向从未接触蛇的猴子展示这些图片，要求它们从九张图片中找到唯一不同的目标。结果表明，猴子能快速定位一张蛇的图片，而识别蝾螈则反应较慢。然而，当蝾螈图片被处理成蛇鳞覆盖的形式时，猴子的反应速度与识别蛇相当。这证实了灵长类动物的蛇识别依赖蛇鳞特有的形状特征。
这一发现支持“蛇检测理论”（snake-detection theory），即蛇对灵长类动物构成的强选择压力导致视觉系统适应性的进化。这项研究为理解灵长类视觉系统与威胁识别的关系提供了重要依据。研究发表在 Scientific Reports 上。
#认知科学 #灵长类进化 #蛇检测理论 #视觉系统
阅读论文：
Kawai, Nobuyuki. “Japanese Monkeys Rapidly Noticed Snake-Scale Cladded Salamanders, Similar to Detecting Snakes.” Scientific Reports, vol. 14, no. 1, Nov. 2024, p. 27458. www.nature.com, https://doi.org/10.1038/s41598-024-78595-w
母胎 solo 幸福感更低？揭秘单身状态对性格与幸福感的影响
终生单身者与有伴侣者在生活满意度及人格特质上的差异长期受到关注。本研究由德国不来梅大学的 Julia Stern 等人进行，基于欧洲健康、老龄化与退休调查（SHARE），首次跨文化分析了超过 77,000 名欧洲老年人的数据，发现终生单身者在外向性、尽责性、开放性和生活满意度上得分显著偏低。
研究采用规格曲线分析（Specification-Curve Analysis），探索大五人格特质（Big Five Personality Traits：外向性、尽责性、开放性、宜人性、神经质）与单身状态间的关系。研究显示，终生单身者在外向性、尽责性和开放性上显著低于有伴侣者。此外，生活满意度也较低，尤其是从未有过长期关系者。
文化背景、性别和年龄对这些差异存在调节作用。单身女性的生活满意度普遍高于男性，而年长单身者比中年单身者更能接受其单身状态。婚姻率较高的社会中，单身对生活满意度的负面影响略大，但宗教信仰的影响不显著。
研究还探讨了人格差异的因果关系，发现外向性等特质可能更易促使人进入关系，而单身状态对人格的长期影响较小。研究结果强调，为终生单身者提供更加适配的社会支持网络对提升其福祉至关重要。研究发表在 Psychological Science 上。
#认知科学 #生活满意度 #人格特质 #单身社会学
阅读论文：
Stern, Julia, et al. “Differences Between Lifelong Singles and Ever-Partnered Individuals in Big Five Personality Traits and Life Satisfaction.” Psychological Science, vol. 35, no. 12, Dec. 2024, pp. 1364–81. SAGE Journals, https://doi.org/10.1177/09567976241286865
远期记忆为何会改变？记忆更新中的海马体角色
记忆是否可靠一直是科学界关注的议题。清华大学生命科学学院、清华-IDG/麦戈文脑科学研究院钟毅课题组与北京智源人工智能研究院雷博团队合作，通过开发创新的记忆追踪工具，探索了远期记忆系统性再固化的神经机制，揭示了海马体招募新记忆印迹细胞在记忆更新中的重要作用。
研究人员开发了三事件标记工具（Triple-event labeling tool），结合双光子成像技术（Two-photon imaging），从记忆获取到系统性再固化全过程追踪记忆印迹细胞群体的动态变化。研究发现，在远期记忆的提取过程中，海马体会招募新的记忆印迹细胞，这一过程需要成年神经发生（adult neurogenesis，神经元新生的过程）来抑制原始记忆印迹并激活新细胞。
通过实验，小鼠在远期记忆提取后表现出对新环境信息的更新，这一现象依赖于海马体神经活动及新蛋白质合成。此外，前额叶皮层通过与海马体和杏仁核的协作，将新记忆整合至原记忆情绪内容中。研究表明，记忆的系统性再固化不仅重建了海马体的新记忆印迹，还为记忆更新提供了机制性窗口，为解释虚假记忆现象提供了重要线索。研究发表在 Neuron 上。
#神经科学 #记忆印迹 #系统性再固化 #成年神经发生
阅读论文：
“Reconstructing a New Hippocampal Engram for Systems Reconsolidation and Remote Memory Updating.” Neuron, Dec. 2024. www.sciencedirect.com, https://doi.org/10.1016/j.neuron.2024.11.010
AI 行业动态
DeepSeek V3：超越GPT-4o 的开源大语言模型！
近日，DeepSeek推出了最新人工智能模型DeepSeek V3，这是一个以开放许可形式发布的强大模型，开发者可以下载并用于包括商业应用在内的多种用途。DeepSeek V3不仅具备卓越的文本处理能力，例如代码生成、翻译及撰写论文，还在编程竞赛和代码集成测试中超越了Meta的Llama 3.1 405B、OpenAI的GPT-4o以及阿里巴巴的Qwen 2.5 72B等强大对手。
DeepSeek V3的性能得益于其巨大的规模和训练数据。该模型拥有6710亿个参数（参数是模型用来做出预测或决策的内部变量），并在包含14.8万亿令牌的数据集上训练完成。相比之下，其参数规模是Meta Llama 3.1的1.6倍。尽管大型模型通常需要高端硬件支持，DeepSeek却利用由Nvidia H800 GPU组成的数据中心在两个月内以550万美元的低成本完成训练，这一GPU曾因美国的出口限制而难以获取。
DeepSeek的背后是量化对冲基金幻方资本管理（High-Flyer Capital Management）。该基金创始人梁文锋曾表示，当前闭源AI技术的领先地位是“暂时的”，并坚信通过DeepSeek可以实现“超级智能”。
#DeepSeek V3 #开放AI模型 #人工智能 #编程 #参数规模
阅读更多：
https://api-docs.deepseek.com/news/news1226
2024年人工智能进展解析：技术突破驱动行业升级
2024年，人工智能技术迎来多领域突破，从语言模型到图像生成、语音技术再到视频生成，均表现出显著进步。根据《Artificial Analysis》最新报告，这一年涌现了多个接近甚至超越GPT-4的模型，尤其是开源模型在能力和成本方面快速缩小与专有模型的差距。
报告显示，前沿语言模型不仅在推理和智能水平上取得跃升，还通过新型强化学习方法和更高质量数据训练实现突破。小型模型利用知识蒸馏技术将大模型的能力转移到更紧凑的版本中，从而显著提升效率，同时满足开发者在低成本环境中的需求。此外，长上下文窗口（Context Window）的普及为多模态（Multimodal）应用提供了更广阔的可能性。
图像生成质量显著提升，如Recraft AI推出的Recraft V3模型达到1161的ELO评分，广受好评。在语音领域，OpenAI的最新模型Whisper在速度和价格方面远超竞争对手，使语音转文本服务变得更加经济高效。
报告还强调了行业的开放性生态与技术整合趋势。Google等公司通过全面垂直整合，从硬件到模型覆盖全链路，而Meta、OpenAI等则持续引领专有技术的创新。整体来看，AI行业正在迈向高效、智能、多样化的未来，成为推动科技进步的核心动力。
#人工智能 #语言模型 #图像生成 #语音技术 #开源生态
阅读更多：
https://artificialanalysis.ai/downloads/ai-review/2024/Artificial-Analysis-AI-Review-2024-Highlights.pdf
OpenAI与微软“秘密协议”曝光：AGI定义有“数值标准”！
近日，外媒曝光了OpenAI与微软之间的“秘密协议”，为人工通用智能（AGI）首次设定了明确的盈利标准：当OpenAI开发出能够创造至少1000亿美元利润的AI系统时，即视为AGI已实现。然而，这一目标的实现仍遥遥无期。据OpenAI预测，其盈利时间可能要到2029年。
协议规定，达到这一利润标准后，OpenAI将可以解除与微软的独家合作条款。然而，目前OpenAI仍在亏损状态，未来几年还需投入数十亿美元用于技术研发和运营。
AGI曾被宣传为超越人类智慧、能解决重大问题的系统，但OpenAI首席执行官Sam Altman近期的言论却逐渐淡化了这一概念。他在Reddit上称，现有AI芯片足以实现AGI，并将其形容为“能像普通人类同事一样工作”的系统。尽管如此，市场分析普遍认为，OpenAI可能借助这一较低门槛的AGI定义，试图摆脱对微软的依赖。
此外，微软与OpenAI围绕云服务协议、营收分成及知识产权等问题的谈判持续紧张。微软作为OpenAI的主要投资方之一，不仅是独家云服务提供商，还通过其Azure平台从OpenAI技术中获利。对此，OpenAI已尝试与其他供应商洽谈合作，以寻求突破。
#OpenAI #微软 #AGI #人工智能
阅读更多：
https://www.theinformation.com/articles/microsoft-and-openai-wrangle-over-terms-of-their-blockbuster-partnership?rc=epv9gi
OpenAI官宣成为盈利性公司
近日，OpenAI 正式宣布，OpenAI将转型为公共利益公司（public benefit corporation），将会采用更为传统的公司架构。在新架构下，包括微软在内的股东将直接持有公司股权，而不是仅享有未来利润分配权的股份。根据声明，若重组完成，公益企业（盈利部门）将负责 OpenAI 的运营和业务，而该非营利部门将聘请领导团队和员工，在医疗保健、教育和科学等领域开展慈善性项目。
OpenAI官方宣称：OpenAI 董事会正在评估公司架构，希望能以最好的方式来完成通用人工智能（AGI）造福全人类这一使命，目标有三：（1）选择一种对使命的长期成功最为有利的非营利/营利性架构。（2）让非营利组织具备可持续发展能力。（3）让各分支各尽其职。
OpenAId1使命表述也将调整为 “确保通用人工智能造福全人类”，并计划 “主要通过尝试打造安全的通用人工智能（AGI）并和全世界共享其益处” 来实现这一使命。
#OpenAI #营利性组织 #AGI #人工智能
阅读更多：
https://openai.com/index/why-our-structure-must-evolve-to-advance-our-mission/
AI 研发动态
比病毒更强大！AI 驱动的纳米笼打开医学新篇章
科学家长期受病毒独特结构的启发，设计用于基因治疗的人造蛋白。然而，现有的纳米笼设计在容量和功能性方面存在局限性。浦项科技大学的 Sangmin Lee 和华盛顿大学的 David Baker 团队通过人工智能（AI）技术，设计出新型纳米笼。这种纳米笼不仅比传统载体容量大，还展示了类似病毒的多功能性。研究结果发表在 Nature 上。
研究团队利用伪对称化（pseudosymmetrization），以三聚体蛋白为基本模块，设计出四面体（tetrahedral）、八面体（octahedral）和二十面体（icosahedral）形状的纳米笼。这些结构具有 48、96 和 240 个亚单位，直径分别为 33 纳米、43 纳米和 75 纳米。尤其是二十面体结构，可以容纳比传统腺相关病毒（AAV）多三倍的遗传物质，显著提升了基因治疗载体的潜力。
电子显微镜（electron microscopy）验证了这些设计的精确结构。功能性实验显示，新型纳米笼能够高效将治疗基因递送到靶细胞，并且多抗原显示能力为疫苗开发提供了新方向。研究还指出，这种设计策略可推广到更广泛的医疗领域，为下一代生物医学创新提供基础。
#神经技术 #人工智能 #基因治疗 #纳米技术
阅读更多：
Lee, Sangmin, et al. “Four-Component Protein Nanocages Designed by Programmed Symmetry Breaking.” Nature, Dec. 2024, pp. 1–7. www.nature.com, https://doi.org/10.1038/s41586-024-07814-1
对抗性提示揭示AI评分系统的隐性偏差
人工智能（AI）在评估和决策中可能继承偏差，影响结果公平性。为解决这一问题，来自斯坦福大学应用物理系的Atsushi Yamamura和Surya Ganguli提出一种系统化方法，研究通过对抗性输入操控AI评估系统的可能性。他们的研究揭示了大型语言模型（LLM）评分中的隐性偏差，并提出了有效的缓解策略。
研究通过分析一个开放源代码LLM的神经活动模式（neural activation patterns），发现模型在阅读评估材料时会形成初步的评分判断，即使要求其在详细分析后再评分。这表明评分偏差可能源于模型的内在激活机制。基于这一发现，研究团队开发了一种优化方法，生成对抗性输入后缀（adversarial input suffixes），利用这些后缀可以放大与高评分相关的内部表示，使模型无视评分标准，给出更高分数。
实验中，这种对抗性输入在“白盒攻击”（white-box attacks）中对开源LLM表现出显著操控能力，并在“黑盒攻击”（black-box attacks）中对闭源模型（如Gemini）也展现了较高的攻击效果。进一步分析表明，一个“魔法词”（magic word）显著提高了攻击成功率，其来源与监督微调中的对话模板设计有关。研究提出通过调整模板结构可以有效减少这种偏差。
#神经技术 #偏差检测 #对抗性提示 #大型语言模型
阅读更多：
Yamamura, Atsushi, and Surya Ganguli. Fooling LLM Graders into Giving Better Grades through Neural Activity Guided Adversarial Prompting. arXiv:2412.15275, arXiv, 17 Dec. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2412.15275
DeepSeek-V3技术报告
在有限算力下，如何高效训练超大规模模型始终是人工智能领域的难题。DeepSeek团队基于混合专家模型（Mixture of Experts, MOE）和多令牌预测（Multi-Token Prediction, MTP），通过一系列技术协同优化，成功训练了671B参数的DeepSeek V3模型，其训练成本仅为此前同类模型的1/10。研究团队进一步在论文中全面公开了模型的训练细节和关键创新，研究成果具有重要的理论与应用价值。
DeepSeek V3的训练展现了显著的技术创新。模型架构上，采用了256个路由专家和1个共享专家的混合专家模型，并通过sigmoid路由和引入偏置项（bias term）解决专家负载不均问题。该模型还首次引入了多令牌预测目标（Multi-Token Prediction, MTP），不仅提高了模型性能，还显著加速了推理速度。
在训练阶段，团队设计了基于FP8的混合精度训练框架，验证了FP8在极大规模模型上的可行性与高效性。跨节点通信问题则通过DualPipe高效流水线并行算法解决，实现了几乎零开销的all-to-all通信。整个模型的训练仅耗费了不到280万GPU小时，成本为约557.6万美元，相较于Llama 3 405B模型的训练成本大幅降低。
在性能测试中，DeepSeek V3在多个开源和闭源模型基准测试中达到了SOTA（开创性最佳表现），表现甚至媲美GPT-4o和Claude 3.5 Sonnet等顶尖模型。在生成速度上，新模型每秒可生成60个tokens，响应速度提升了3倍，同时API价格仅为Claude 3.5 Sonnet的1/53，成为性价比的绝对赢家。
此外，团队还开源了FP8权重和BF16转换工具，并支持多个推理框架，包括SGLang、TensorRT-LLM等，极大简化了模型部署的难度。
DeepSeek V3的预训练阶段仅耗时不到两个月，表明通过协同优化算法、框架与硬件，可以在有限算力预算下高效训练超大规模AI模型。
#神经技术 #混合专家模型 #多令牌预测 #FP8训练 #超大规模模型
阅读更多：
https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf
实时可视化蛇形变形：柔性电子迈向商业化的新里程碑
可拉伸技术为下一代电子产品提供了前所未有的自由变形能力，但其中蛇形结构的动态形变特性仍需深入研究。浦项科技大学（POSTECH）Su Seok Choi 团队使用手性液晶弹性体（CLCE）开发了新的变形可视化方法，成功实现了实时分析与优化设计指导。
研究团队采用了手性液晶弹性体（Chiral Liquid Crystal Elastomer, CLCE），这种材料在受到拉伸时会发生纳米级结构颜色变化，直观呈现形变过程。通过调整 CLCE 的模量和形状设计，他们实现了蛇形结构动态应变的实时捕捉，并进一步构建了 2×2 阵列以研究单轴和双轴拉伸条件下的应变分布。结果表明，该方法可精确反映蛇形结构在不同拉伸阶段的形变特性，不仅消除了复杂纳米制造工艺的需求，还为优化拉伸互连设计提供了新思路。研究成果显示，该技术可以为显示器、传感器、电子皮肤和仿生机器人等可拉伸应用提供更优化的设计指导，显著加速商业化进程。研究成果发表在 Advanced Science。
#神经技术 #柔性电子 #手性液晶弹性体 #蛇形结构可视化 #可拉伸技术
阅读更多：
Han, Sang Hyun, et al. “Optical Visualization of Stretchable Serpentine Interconnects Using Chiral Liquid Crystal Elastomers.” Advanced Science, vol. n/a, no. n/a, p. 2408346. Wiley Online Library, https://doi.org/10.1002/advs.202408346
大型语言模型如何重新定义学术社区
科学研究如何推进、创新如何诞生是科学界的重要问题。伊利诺伊大学厄巴纳-香槟分校团队提出了一种新型框架ResearchTown，旨在利用大型语言模型（LLMs）模拟研究社区。他们通过图结构建模和基于文本的推理技术，重现了科学合作和研究活动，为学术界提供了跨学科研究的新思路。
该团队提出了代理数据图(agent-data graph)，将研究者和论文简化为图节点，通过关系连接来模拟研究活动。他们采用的TextGNN框架，借助LLMs的上下文学习能力，将学术任务建模为消息传递(message passing)过程，精准还原了论文阅读、撰写与评审的动态过程。
为了评估框架的有效性，团队开发了ResearchBench基准，用于系统测试。通过屏蔽节点并尝试重建的方法，他们对1,000篇论文撰写任务和200篇评审任务进行了评估，结果显示模拟的论文写作和评审活动分别达到0.67和0.49的相似度分数。在多研究人员参与和不同论文组合下，框架表现出显著的稳健性。产生了结合自然语言处理、犯罪学和天文学的新颖跨学科研究创意。这些发现表明，ResearchTown不仅能够模拟学术活动，还能促进科学创新的民主化和自动化。
#认知科学 #人工智能 #跨学科研究 #代理数据图
阅读更多：
Yu, Haofei, et al. ResearchTown: Simulator of Human Research Community. arXiv:2412.17767, arXiv, 23 Dec. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2412.17767
动态记忆系统让语言模型思考更清晰
大型语言模型在长文本生成中常出现事实错误，这一现象被称为“幻觉”。为解决这一问题，Meta公司和华盛顿大学的研究团队提出了一种名为Ewe的全新框架，通过引入显式工作记忆和实时反馈机制，提高生成内容的真实性。这一方法显著减少了错误输出，为知识密集型文本生成提供了新的解决方案。
Ewe框架的核心是显式工作记忆（Explicit Working Memory），该模块动态存储和更新生成内容所需的相关知识。具体来说，在生成过程中，Ewe会暂停并检查新生成的部分内容。如果检测到事实错误，系统会借助检索和事实检查反馈，更新记忆中的信息，删除错误内容并重新生成。这种机制有效结合了背景知识与实时反馈，确保输出的准确性。
实验数据显示，Ewe在四个长文本生成数据集上显著提高了事实性指标VeriScore，分数增长幅度为2到10分。此外，Ewe保留了基础模型在指令执行和内容生成方面的实用性。
#认知科学 #语言模型 #动态记忆 #检索增强生成
阅读更多：
Chen, Mingda, et al. Improving Factuality with Explicit Working Memory. arXiv:2412.18069, arXiv, 24 Dec. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2412.18069
压缩重塑检索：优化长文本处理的新解法
在信息检索中，处理长文本是一个计算资源密集的挑战。KAIST与DeepAuto的研究团队，提出了一种名为CoLoR的创新方法，通过对文本进行压缩，大幅提高了长上下文语言模型（LCLMs）的检索效率，同时减少了计算成本。
CoLoR的核心是通过生成和评价压缩文本样本来优化检索性能。研究人员采用偏好优化（Preference Optimization）技术，对生成的多种压缩文本进行评价，选择表现最佳的版本。为了进一步减少文本长度，团队引入了长度正则化损失（length regularization loss），鼓励生成更短但高效的文本。
实验在九个数据集上进行，包括单文档和多文档检索场景，结果表明CoLoR显著提升了检索效率和准确性。具体而言，CoLoR将检索性能提高了6%，并将上下文长度缩短至原来的约一半（1.91倍）。与传统的压缩方法相比，CoLoR的表现更加优越，展现了出色的通用性，适用于未见过的数据集。这项研究为未来信息检索任务提供了新方向。
#神经技术 #信息检索 #长上下文语言模型 #文本压缩 #计算效率
阅读更多：
Seo, Minju, et al. Efficient Long Context Language Model Retrieval with Compression. arXiv:2412.18232, arXiv, 24 Dec. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2412.18232
整理｜ChatGPT
编辑｜丹雀、存源
关于追问nextquestion
天桥脑科学研究院旗下科学媒体，旨在以科学追问为纽带，深入探究人工智能与人类智能相互融合与促进，不断探索科学的边界。如果您有进一步想要讨论的内容，欢迎评论区留言，或添加小助手微信questionlab，加入社群与我们互动。
关于天桥脑科学研究院
天桥脑科学研究院（Tianqiao and Chrissy Chen Institute）是由陈天桥、雒芊芊夫妇出资10亿美元创建的世界最大私人脑科学研究机构之一，围绕全球化、跨学科和青年科学家三大重点，支持脑科学研究，造福人类。
Chen Institute与华山医院、上海市精神卫生中心设立了应用神经技术前沿实验室、人工智能与精神健康前沿实验室；与加州理工学院合作成立了加州理工天桥神经科学研究院。
Chen Institute建成了支持脑科学和人工智能领域研究的生态系统，项目遍布欧美、亚洲和大洋洲，包括、、、科研型临床医生奖励计划、、中文媒体追问等。
热门跟贴