Talk预告 | 麻省理工学院周偲: 扩散语言模型新范式 - 生成和推理的基础理论与方法|人工智能|周偲|周思|语言模型|麻省理工学院

本期为TechBeat人工智能社区第725期线上Talk。

北京时间11月12日(周三) 20:00，麻省理工学院博士生周偲的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:扩散语言模型新范式 - 生成和推理的基础理论与方法，届时他将分析自回归模型、离散扩散模型、连续扩散模型和循环Transformer的表达能力，并提出多个新的扩散语言生成和推理范式，包括任意过程生成、层次化扩散语言模型（HDLM）和协同进化的连续-离散扩散模型（CCDD)。

Talk·信息

主题：扩散语言模型新范式 - 生成和推理的基础理论与方法

嘉宾：麻省理工学院 · 博士生 - 周偲

时间：北京时间11月12日(周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

自回归大语言模型目前取得了巨大的成功，但面对复杂问题如数独时仍很难高效解决。近段时间来，扩散语言模型获得了极大关注，并且在结构化或复杂问题中显著好于自回归模型。但是基于掩码的离散扩散模型表达能力依然有限并有诸多实际上的不足。我们首先详尽分析了自回归模型、离散扩散模型、连续扩散模型和循环Transformer的表达能力，并提出了多个新的扩散语言生成和推理范式，包括任意过程生成、层次化扩散语言模型（HDLM）和协同进化的连续-离散扩散模型（CCDD）。

Talk大纲

1. 背景：

自回归模型和基于掩码的离散扩散模型的基本概念与局限性

2. Any process generation：

基于计算复杂性理论，提出了任意过程生成（包括重掩码、删除和插入等），并彻底分析了几种范式的表达能力。

3. HDLM：

提出了层次化扩散语言模型，给出了完整的diffusion ELBO推导和高效实现，并在理论和实验中均优于传统的掩码扩散语言模型。

4. CCDD：

详尽比较了离散扩散、连续扩散和循环Transformer的表达能力和实际可训练性，提出了协同进化的连续-离散扩散模型，兼具更强的理论表达能力和更好的可训练、可采样性。

Talk·预习资料

论文链接： https://arxiv.org/pdf/ 2510.06190

论文链接： https://arxiv.org/abs/ 2510.08632

论文链接： https://arxiv.org/abs/2510.03206

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

周偲‍‍‍‍‍‍‍‍‍‍‍

麻省理工学院 · 博士生
‍‍‍

周偲是麻省理工学院的二年级博士生，隶属于计算机和人工智能实验室，导师为Tommi Jaakkola和Stephen Bates。主要研究方向为机器学习，生成模型（包括扩散模型和大语言模型）以及科学应用。以第一作者或主要贡献者身份在国际人工智能和机器学习顶会如ICML, NeurIPS, AISTATS, EMNLP等发表论文十余篇。在博士之前，以最高荣誉本科毕业于清华大学自动化系，辅修统计学并是通用人工智能实验班的一员。此外曾于微软研究院实习，在本科期间曾与北京大学张牧涵老师、清华大学黄高老师、加州大学圣地亚哥分校Yusu Wang和Rose Yu老师合作。