近日,理光宣布,一篇基于信息论、用于引导大语言模型(LLM)行为的研究论文,已被第 5届国际计算语言学协会亚太分会暨第15届国际自然语言处理联合会议(AACL 2026)录用并安排口头报告。该会议是自然语言处理领域的国际学术会议,于2026年11月6日至10日在中国举办。

该研究提出了一种方法:在模型推理阶段对内部运算过程进行轻量干预,无需额外训练模型,即可针对不同目标引导大语言模型的行为。该方法依托信息论框架,将引导干预策略的构建转化为一个优化求解问题。论文中呈现的实验表明,该方法能够有效引导大语言模型行为,同时保持自然语言的生成质量。该技术有望降低大语言模型适配各类场景的成本与运维压力,潜在应用场景包括文本生成行为管控、生成式AI安全能力增强等方向。

打开网易新闻 查看精彩图片

背景

随着生成式AI的应用日益广泛,对于企业和公共部门组织而言,既要保障 AI 输出内容的质量,又要确保其安全性与可靠性,这一点正变得愈发重要。在公共服务、金融和制造业等领域,业界愈发需要防范不当输出,同时应对各类绕过 AI 安全防护机制的攻击(即常说的越狱攻击 *)。

调整大语言模型行为的传统手段包括提示词工程与模型增量训练,这些方法可能会增加成本并增加运维复杂度。近年来,激活引导技术作为控制模型行为的另一种方法应运而生,该技术无需修改底层模型,可在推理阶段直接影响大语言模型的内部表征。其中的一个关键挑战在于:如何在有效引导模型的同时,保留回复语言的自然度。

为攻克该难题,理光研发了一种方法:借助信息论分析大模型内部特征分布,并将模型引导问题转化为优化问题。该方法可量化模型内部特征分布与目标输出分布之间的差异,从而依托理论依据求解干预参数。与逐一检测并拦截潜在有害输入不同,该方法能够持续引导模型的内部表征朝着更安全的行为方向发展,即便面对精心构造、意图绕过防护的输入,也能降低模型生成不当内容的概率。这有助于提高模型抵御“越狱”攻击的能力。

*越狱攻击:指试图绕过 AI 系统的安全防护或使用限制,生成原本被禁止输出内容的行为。

技术核心要点

1.引导大语言模型行为,同时保障自然语言输出质量

该方法通过分析、调整大语言模型的内部特征,可根据不同需求引导模型行为,并保持自然语言的生成质量。

2.无需额外训练模型

该方案在推理阶段引入轻量化控制向量,影响模型内部运算过程。无需对模型本身追加训练即可调整大模型行为,有望降低为适配各类场景改造模型所带来的成本与运维压力。

3.效果已通过实验验证

实验表明,该方法能够按需引导大语言模型行为,并且保持自然语言输出质量。

在AI安全领域的潜在应用

理光认为该技术有望用于提升生成式 AI 的安全性。该方法通过引导大语言模型的内部表征趋向安全行为,可以对输入输出监控类防护机制形成补充,为生成式 AI 系统增设一层防护。

未来展望

理光将持续评估这项技术,探索其在企业级生成式AI系统中的应用潜力。公司将持续研发,深耕能够提升生成式AI安全性与可靠性的技术,打造适配客户行业及业务需求的AI服务,践行“悦享工作”。