本期为TechBeat人工智能社区735线上Talk。

北京时间12月17日(周三) 20:00,香港大学博士生吴成岳的Talk将准时在TechBeat人工智能社区开播!

他与大家分享的主题是:从理论瓶颈到实际加速—通过Fast-dLLM实现高效扩散LLM推理。介时他将向大家介绍 Fast-dLLM 及其 v2 版本。该方法通过近似分块缓存、置信度感知解码及 AR-Diffusion 混合架构,实现了高达 27.6 倍的吞吐提升。

Talk·信息

主题:从理论瓶颈到实际加速 — 通过Fast-dLLM实现高效扩散LLM推理

嘉宾:香港大学 · 博士生 - 吴成岳

时间:北京时间12月17日(周三) 20:00

地点:TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

Diffusion LLM 虽具备并行生成与双向注意力优势,却因无法利用 KV Cache 及并行解码质量下降,推理速度远逊于自回归模型。本次分享介绍 Fast-dLLM 及其 v2 版本,通过近似分块缓存、置信度感知解码及 AR-Diffusion 混合架构,实现了高达 27.6 倍的吞吐提升;v2 版本更在保持高质量的同时,超越 LLaMA3 等 SOTA 模型 2.5 倍速,打破了其实用化瓶颈。

Talk大纲

1. 背景与挑战:

对比自回归模型,解析 Diffusion LLMs 的并行生成潜力,并指出阻碍其实际部署的两大核心瓶颈——KV Cache 的缺失与并行解码的质量退化。

2. Fast-dLLM (Training-free):

介绍如何通过近似分块 KV 缓存机制解决缓存不兼容问题,利用置信度感知并行解码策略修复由条件独立假设导致的质量下降。

3. Fast-dLLM v2 (Hybrid Paradigm):

详解进阶版架构,引入 Block Diffusion(AR-Diffusion 混合范式)与层级缓存机制,展示如何仅用约 1B token 实现低成本高效适配。

4. 实验与评估:

展示与 Vanilla Diffusion 及 LLaMA3/Qwen2.5 等顶尖自回归模型的对比结果,分析在推理速度(最高 27.6x 吞吐提升)与生成质量上的综合表现。

5. 总结:

探讨 Fast-dLLM 系列工作对 Diffusion LLM 迈向大规模实用化的里程碑意义。

Talk·预习资料

打开网易新闻 查看精彩图片

论文链接: https://arxiv.org/abs/2505.22618 代码链接: https://github.com/NVlabs/Fast-dLLM

打开网易新闻 查看精彩图片

论文链接: https://arxiv.org/abs/2509.26328



Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call和问题,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

打开网易新闻 查看精彩图片

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

打开网易新闻 查看精彩图片

吴成岳‍‍‍‍‍‍‍‍‍‍‍

香港大学 · 博士生
‍‍‍

研究领域包括多模态基础模型和大语言模型。迄今已在CVPR、ACL、ICML、NeurlPS 等国际顶会发表论文十余篇,六篇为第一作者,累计引用1400余次,相关开源项目在GitHub上获得超1.8万星标。

主导研发了统一的多模态理解框架Janus,在DeepSeek提出视觉编码解耦的新范式。在NVIDIA实习期间,作为Fast-dLLM 项目核心成员,提出理论驱动的解码算法,使扩散语言模型生成效率提升了 10 倍,后续迭代版本Fast-dLLM v2 进一步实现2-3倍加速。

个人主页: https://www.techbeat.net/grzytrkj?id=46004

-The End-

打开网易新闻 查看精彩图片

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择!

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>

预约本期Talk