NVIDIA AI 加速精讲堂

FP8 在大型模型训练中的

应用、挑战及实践

12 月 18 日，星期三，19:30 — 20:30

活动介绍

在深度学习和人工智能的快速发展背景下，大语言模型 LLM (Large Language Model) 模型的大小和计算复杂性不断增加，业界一直在寻求新的技术和方法在有限资源内提升模型训练和推理效率降低成本。

FP8 技术通过提升计算性能、优化内存使用、简化训练流程以及增强模型适应性，为深度学习领域带来了显著的进步。

本次在线研讨会，邀请来自 NVIDIA 和零一万物的技术专家，分享 FP8 技术加速 LLM 训练的最新进展以及业务实践中的宝贵经验。

参加此研讨会，您将获得以下信息：

  • FP8 训练的原理，收益和收敛性
  • FP8 训练挑战和解决思路
  • FP8 训练 Debug 工具
  • FP8 训练实践经验分享

演讲嘉宾

黄雪

NVIDIA 解决方案架构师

硕士，毕业于哈尔滨工业大学，主要负责深度学习训练方面工作，在深度学习框架、超大规模模型训练，分布式模型训练加速优化等技术方向有丰富的研究经验。

谢文

零一万物 (01.AI)

AI Infra 分布式训练优化架构师

曾先后任职于 NVIDIA、阿里巴巴达摩院、华为云 AI 平台域，有多年性能优化工程经验。