韩松高徒联手朱俊彦下场创业，要做生成式AI的高速推理层！|宇宙|推理|朱俊彦|算子|算法|韩松(作家)

智猩猩AI整理

编辑：没方

今天，韩松学生李沐阳正式官宣创业，担任 Nunchux AI 联合创始人兼 CEO。

一起创业的，还有卡内基梅隆大学副教授朱俊彦，以及长期深耕高效 AI、模型量化和系统优化的 Yujun Lin、Zhekai Zhang。

韩松老师也在第一时间转发祝贺。

李沐阳在 X 上写道，自己从本科时期开始研究高效生成式 AI，到今天已经过去七年。

那时候 GAN 还是生成模型最前沿的路线，此后经历 Diffusion，再到今天越来越大的图像、视频乃至 World Model，他一直在思考如何让生成模型跑得快、又便宜，还可靠？

这条路线此前催生出高性能推理引擎 Nunchaku。如今，他们干脆把这件事做成了一家公司 Nunchux AI。

朱俊彦在X上提到了一个很有意思的对比。

他十年前在伯克利做 iGAN、pix2pix、CycleGAN 时，就已经在想办法让生成模型做到“点一下，马上出结果”。

因为对创作者来说，如果等太久很多创造体验就没了。

而今天的模型比当年重得多，图像生成模型的运行成本已经比当时高出10000倍，视频模型还要再往上走。所以在他看来，十年前追求低延迟的理由到今天仍然没有改变。

生成式 AI 本质上是一个不断“生成-查看-修改-再生成”的交互过程，结果生成得越慢，这个创作循环就越难成立。

而 Nunchux AI 想吃下的，正是这一层。

师从朱俊彦、韩松，李沐阳深耕

生成式AI效率优化

李沐阳博士本科毕业于上海交通大学致远学院 ACM 班，随后前往卡内基梅隆大学机器人研究所攻读硕士，师从朱俊彦；之后进入 MIT HAN Lab跟随韩松攻读博士。

2020 年，他作为第一作者推出 GAN Compression，通过模型压缩显著降低 Conditional GAN 的计算成本，相关工作发表于 CVPR 2020。

进入 Diffusion 时代后，这条研究主线继续延伸。

2022 年，他作为第一作者参与提出 SIGE（Efficient Spatially Sparse Inference），利用生成过程中不同步骤之间大量重复的空间特征，只计算真正发生变化的区域，从而减少 GAN 和 Diffusion 模型中的冗余计算。该工作发表于 NeurIPS 2022 。

2024 年，他又作为第一作者推出 DistriFusion，把高分辨率 Diffusion 模型的推理拆分到多张 GPU 上并行执行，在尽量保持生成质量的同时降低单卡压力、提升生成速度。该工作入选 CVPR 2024 Highlight。

随后，他将研究进一步推进到了低比特量化。

其代表作 SVDQuant 聚焦 Diffusion 模型最难处理的 4-bit 量化问题，通过低秩分解吸收激活值中的异常值，将大型 Diffusion 模型推进到 W4A4 推理，同时尽量保持生成质量。这项工作入选 ICLR 2025 Spotlight。

此外，为了让量化带来的理论收益真正变成实际速度，团队开发了专门的推理引擎 Nunchaku，通过定制 Kernel、算子融合等系统优化，将 SVDQuant 转化为端到端的显存和延迟收益。在 12B 参数的 FLUX.1-dev 上，它能够大幅降低运行所需显存，也让这类大型图像生成模型更容易部署在消费级 GPU 上。