深度｜机器学习顶会 ICLR 2024 直击！现场四大头部 LLM 玩家演讲主题盘点|deepmind|iclr|大模型|演讲主题|自然语言处理|计算机视觉

5 月 7 日，第 12 届 ICLR2024 在奥地利维也纳召开。ICLR 全称为国际学习表征会议（International Conference on Learning Representations），是专注深度学习、机器学习以及相关领域的顶级会议。

据悉，ICLR2024 有超过 5400 名嘉宾与观众来到现场，最大展位除硅谷科技巨头微软、谷歌以及 Meta 外，还有国内大模型独角兽智谱的身影，智谱也是唯一一家在主旨演讲环节发言的国内大模型公司

在智谱展位现场，GLM 大模型团队现场分享了《The ChatGLM's Road to AGI》专题演讲，介绍了 GLM 大模型通往 AGI 的三大技术趋势：

1）GLM-4 向 GLM-4.5 迭代：根据 GLM 团队现场分享，GLM-4 后续升级版本，即 GLM-4.5 及其升级模型，将基于超级认知（SuperIntelligence）和超级对齐（SuperAlignment）技术，同时在原生多模态领域和 AI 安全领域有长足进步。

其中，文本是最关键基础，下一步则会将文本、图像、视频、音频等多种模态混合在一起训练，变成一个真正原生的多模态模型。目前，GLM 团队已经在视觉领域推出了 CogVLM，将视觉专家模块与语言模型深度融合，并在 17 项文本、图像、视频任务的公开数据集上取得领先成绩。

2）以大模型为中心的通用计算系统 GLM-OS：GLM-OS 核心是一种基于多模态语言模型的统一架构，从根本上融合视觉、语音、文本等不同模态，在训练过程中赋予模型跨模态的学习与迁移能力。GLM-OS 的实现方式是基于已有的 All-Tools 能力，再加上内存记忆（Memory ）和自我反馈（Self-reflection）能力，通过模仿人类 PDCA（Plan-Do-Check-Act）机制，形成自我反馈和自我提升。

3）模仿人类无意识学习机制的 GLM-zero：GLM-zero 是 GLM 团队从 2019 年开始就在内部开始研发的技术，被视为 GLM 大模型通往 AGI 的必经之路。GLM-zero 旨在研究人类的“无意识”学习机制。以人脑为例，人类大脑中存在反馈和决策两个系统，分别对应大模型和内存记忆两部分。

去年以来，GLM 团队就在学术领域相继发表了多篇论文，覆盖了模型涌现能力、 LLM 解决数学问题，以及人类反馈强化学习等多个方向。

自 2022 年以来，GLM 团队相继推出了 GLM-130B 千亿基座模型、ChatGLM 对话模型、CogView 文生图模型、CodeGeeX 代码模型以及 CogVLM 多模态理解模型，构建了完整的大模型产品矩阵，基本上与硅谷科技巨头们保持在同一竞争梯队。

在 Meta 的展位，Meta AI 首席科学家 Yann LeCun 与研究团队在现场分享了发表在 ICLR2024 的四篇论文。

这四篇论文分别是：

ICLR 杰出论文奖《Vision Transformers Need Registers》（https://arxiv.org/abs/2309.16588）；
ICLR杰出论文荣誉提名《Flow Matching on General Geometries》（https://arxiv.org/abs/2302.03660）；
《Demystifying CLIP Data》（https://arxiv.org/abs/2309.16671）；
《Revisiting Feature Prediction for Learning Visual Representations from Video》（https://arxiv.org/abs/2404.08471）；

研究的方向侧重于 Meta 在深度学习、视觉变换和视频数据处理的前沿研究，而另一边 Google Research 分享的内容则围绕移动设备上的机器学习模型优化、数据隐私与安全等。

谷歌 DeepMind 团队主要分享下一代 AI 智能体以及基础研究。根据 DeepMind 发表在 ICLR2024 的论文《A Real-World WebAgent with Planning, Long Context Understanding, and Program Synthesis》，DeepMind 研究人员介绍了 WebAgent，一种由 LLM 驱动的智能体，可以从自我经验中学习，以导航和管理现实世界网站上的复杂任务（https://openreview.net/pdf?id=9JQtrumvg8）。

此外，谷歌 DeepMind 还在现场展示了DyST（动态场景变换器）模型，该模型利用现实世界的单摄像头视频来提取场景中对象及其运动的 3D 表示。此外，DyST 还可以生成同一视频的新颖版本，用户可以控制摄像机角度和内容。

微软团队展会现场主要分享了三篇 ICLR2024 的论文研究（https://www.microsoft.com/en-us/research/event/iclr-2024/oral-presentations）

《LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models》：介绍了一种名为LoftQ（LoRA-Fine-Tuning-aware Quantization）的新颖量化框架，该框架专为大型语言模型（LLM）设计，能够在应用LoRA（Low-Rank Adaptation，低秩适应）微调时进行有效的量化；

《MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts》：与评估基础模型在视觉上下文中的数学推理能力有关，涉及到计算机视觉和自然语言处理的交叉领域，特别是在理解和推理与数学相关的视觉信息方面；

《Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs》：介绍了一种名为FastGen的自适应 KV 缓存压缩方法，这是一种即插即用的方法，用于减少大型语言模型生成推理的内存占用；

最后，从 ICLR2024 现场四家最大展商 —— 智谱、Meta、谷歌以及微软分享的研究方向与演讲内容来看，中美大模型头部参与者都积极投身大模型、自然语言处理以及计算机视觉等领域的应用研究，相继展示了自身在 ICLR2024 上发表的最新论文成果，但双方研究的侧重点仍有不同。

硅谷科技巨头由于综合资源和技术的领先地位，仍然在基础研究的广度和深度上领先于国内头部企业。

智谱作为 ICLR2024 唯一一家在主旨演讲环节发言的国内大模型公司，虽然与海外科技巨头处于不同的发展阶段以及市场定位，但依靠其在学术和产业领域不断深耕与领先性，正逐步缩小与国际头部大模型玩家的差距，这也是国内众多大模型公司发展的一个缩影。

Reference：

https://www.zhipuai.cn/news

https://twitter.com/AIatMeta/status/1788631179576606733

https://research.google/conferences-and-events/google-at-iclr-2024/

https://deepmind.google/discover/blog/google-deepmind-at-iclr-2024/

https://www.microsoft.com/en-us/research/event/iclr-2024/oral-presentations/

Newin 行业交流群

最新活动