Talk预告 | 南京大学钱宇阳：d3LLM - 高效的扩散大语言模型|llm|南京大学|博士生|大语言模型|女博士|钱宇阳

本期为TechBeat人工智能社区第784期线上Talk。

北京时间7月29日(周三) 20:00，南京大学博士生钱宇阳的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是：d3LLM - 高效的扩散大语言模型。届时他将从自回归 LLM 推理慢的痛点出发，介绍两款加速扩散大模型方案：d3LLM 优化扩散模型效率，AdaFlash 结合投机解码持续提速推理。

Talk·信息

主题：d3LLM - 高效的扩散大语言模型

嘉宾：南京大学·博士生 - 钱宇阳

时间：北京时间7月29日(周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

大语言模型虽在对话、生成、智能体等任务上取得瞩目成果，但主流的自回归（AR）模型每次只能生成一个词，推理速度受限。扩散大语言模型（Diffusion LLM）可以同时生成多个 token，是当前备受关注的新型模型架构。

本次报告介绍两项工作：

(1) d3LLM：我们深入分析扩散语言模型的本质，提出新度量 AUP，并从后训练与推理两端入手，大幅加速扩散语言模型；

(2) AdaFlash：我们进一步将扩散语言模型用作投机解码的草稿模型，通过 on-policy distillation 实现持续演进的推理加速。

Talk大纲

1. 本次 talk 围绕扩散大语言模型的加速展开。自回归模型逐词生成，推理速度受限；扩散大语言模型可以同时生成多个 token，是当前备受关注的新型模型架构。

2. d3LLM：我们发现扩散语言模型的精度与并行度之间存在固有矛盾。为此，我们提出 AUP 度量，统一衡量了模型的精度与并行度，并通过伪轨迹蒸馏与多块解码框架，从后训练与推理两端协同，大幅提升扩散语言模型的速度。

3. AdaFlash：此外，扩散语言模型还可以作为投机解码的草稿模型来加速大模型推理；我们针对扩散草稿模型，设计了 AdaFlash 方法，通过 on-policy distillation 与自适应草稿长度，进一步提升扩散草稿模型在高并发时的加速效果。

Talk·预习资料

[1] d3LLM: Ultra-Fast Diffusion LLM using Pseudo-Trajectory Distillation 论文链接：https://arxiv.org/abs/2601.07568

[2] AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters. 论文链接：https://arxiv.org/abs/2502.07193

[3] JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting. 论文链接：https://arxiv.org/abs/2606.18394

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

钱宇阳

南京大学·博士生

钱宇阳同学是南京大学人工智能学院博士生，师从周志华教授，并于2025年下半年赴加州大学圣迭戈分校（UCSD）Hao Zhang教授课题组访问。主攻资源受限下的高效机器学习研究，聚焦大模型推理加速、Agent在线学习、扩散语言模型等，以第一作者身份在ICML、NeurIPS、KDD等顶会/顶刊发表论文10篇。据谷歌学术统计，研究论文总被引1600余次，得到包括ICML现任主席Kilian Q. Weinberger教授、IEEE ICDM创始人 / IEEE Fellow吴信东教授等权威学者的引用及正面评价。在工程落地方面，系统性地将研究成果在GitHub开源，单项仓库获300余次星标，总星标数达到700余次；已申请4项国家发明专利。钱宇阳的研究成果受到国内外知名课题组的广泛关注，先后受邀在加州大学圣迭戈分校Yu-Xiang Wang教授课题组、中国人民大学李崇轩教授课题组、清华大学朱军教授课题组进行学术报告。曾荣获中国大学生程序设计竞赛全国邀请赛金牌、全球校园AI算法精英大赛季军等多项竞赛奖项，同时获博士生国家奖学金等荣誉，并积极服务学术社区，担任ICML、NeurIPS、ICLR、KDD等顶级会议审稿人。

载誉重返讲坛，以工程实践反哺理论之林，五位青年教授的线上闭门交流

北京时间7月28日(周三) 晚20:00截止报名

详情点击图片跳转

-The End-