始智AI wisemodel.cn开源社区
始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。正在，欢迎加入共同成长。wisemodel社区上线，H800/H20等资源上线，价格实惠，灵活方便，支持在线微调训练模型，及和，并。
自从GPT、PaLM、Llama等预训练大语言模型在自然语言处理任务上表现出色，大语言模型发展迅速，从单模态扩展到多模态，如MiniGPT-4、LLaVA等在应用场景中效果惊艳。全面、科学地评估这些模型的性能成为研究者的重要挑战。
传统评估方法多关注模型在下游任务上的准确率、交叉熵损失等指标，只比较预测结果与标注标签，无法深入探究模型内部信息处理过程。对于多模态大语言模型，现有评估指标也无法评价模态之间的对齐程度等重要维度。因此，现阶段纯语言大模型和多模态大模型的评估方法存在较大局限性，需要多元化、精细化的评价方法。
为解决这些挑战，上海交通大学和清华大学等科研团队的研究者提出了全新的大模型评估指标Diff-eRank。这是一种基于模型表征的“有效秩”的评估指标，从信息论和几何学的角度分析并量化大语言模型在训练前后如何剔除冗余信息，并以此衡量模型性能。
与传统评估指标不同，Diff-eRank不依赖模型的输出结果，而是通过分析模型的隐藏表征来评估模型的性能。对于多模态大模型，研究团队还设计了基于有效秩的评估方法，通过比较不同模态表征之间的有效秩匹配程度来评估模态对齐性能，证实了主流多模态大模型具有出色的对齐能力。 目前 已上线始智AI-wisemodel开源社区，欢迎大家前去下载和体验。
代码地址
https://wisemodel.cn/codes/Walton/Diff-eRank
01.
Diff-eRank引入原因
在介绍 Diff-eRank 之前，我们不妨先思考一个问题：一个语言模型是如何从海量的训练数据中「学习」到知识的？Ilya Sutskever 在 2023 年的演讲中提到：大语言模型海量数据中训练时，会逐步消除其表征空间中的冗余信息，使得数据的表征变得更加规整、结构化。
这个过程类似于「去噪」，即模型逐渐剔除数据中的无用信息，同时提取出更重要的模式和特征。然而，之前并没有研究提出可靠的指标来定义和量化这个「去噪」过程。
在此背景下，研究团队引入了有效秩的概念（Effective Rank，后面简写为 eRank），用于反应大模型表征空间的不确定性或混乱程度。大模型在训练时去除数据中的冗余信息，eRank 减小，模型的表征变得更加结构化和紧凑。
研究团队提出 Diff-eRank，通过分析大语言模型的表征的有效秩在训练前后的变化幅度，来评估大模型的「去噪能力」。Diff-eRank 提供了一个基于模型表征的全新评估方法，并且具有良好的理论基础与可解释性，为理解大模型的工作原理提供了独特的视角。
02.
Diff-eRank构造过程
具体而言，大模型在处理一系列输入时，它会为每个 token 生成一个高维表征；这些表征通常可以捕捉输入的语义和句法信息。因此，研究团队考虑分析这些表征来评估大模型的性能。
团队选择从几何和信息论的角度研究这些表征的秩。秩可以衡量它们这些表征的线性相关程度，对应于表征空间的有效维度（即几何结构）。此外，秩还与这些表征所包含的信息量有关：较低的秩代表信息已被结构化或压缩。因此，作者通过分析大模型表征的秩来进行模型评估。
2.1协方差矩阵的构建
给定一个句子中 tokens 的表征集 ，协方差矩阵 构建如下：
其中 是模型 在句子 上的表征的协方差矩阵，其中 。
2.2有效秩（eRank）
由于秩对异常值非常敏感，因此研究团队使用秩的一种连续形式，称为有效秩（eRank）。给定任何非零矩阵 ，其有效秩定义为：
其中 ， 是矩阵 的奇异值。
值得注意的是，eRank 与信息论中的熵的概念有着紧密的联系。上面构造的协方差实际上就是一个标准的「概率密度矩阵」。这里面的有效秩可以从信息论的角度理解为表征空间中的不确定性（具体解释详见原论文）。
2.3Diff-eRank 的定义
给定一个句子 ，一个未训练的语言模型 和一个训练完毕的语言模型 ，我们可以得到这两个模型的表征 和 。对于句子 ，这两个模型之间的有效秩差异（Diff-eRank）定义如下：
其中 是模型 在句子 上的表征的协方差矩阵，其中 。
进一步，当给定一个数据集 及其包含的句子 ，一个未训练的语言模型 和一个训练完毕的语言模型 时，数据集 上的 Diff-eRank 可以被定义为 和 在所有句子上的有效秩的平均值之差。
由此可以看出，Diff-eRank 反映了模型表征空间的降维，也可以用于衡量大语言模型去除数据中冗余信息的程度。较高的 Diff-eRank 表明模型的内部表征更加有序和结构化，体现模型可以有效提取数据中的模式和规律。
03.
Diff-eRank评估大语言模型的实验结果
研究团队使用 OPT 模型家族在多个数据集上计算 Diff-eRank 。由于 Loss 是最常用于观测预训练模型的指标，因此团队采用模型在训练前后交叉熵损失的减小量（Reduced Loss）作为对比。
通过在不同类型的数据集（如 Wikipedia、openwebtext2、dolly-15k 和 hh-rlhf）上使用 Diff-eRank 和 Reduced Loss 对 OPT 模型家族进行评估，下图的实验结果发现 Diff-eRank 和 Reduced Loss 都随着模型规模的扩大而上升。
这一趋势说明更大规模的模型在信息压缩和冗余消除方面表现得更加出色。这也体现了 Diff-eRank 可以从「去噪」角度为语言模型提供新的评估方法。
为了进一步验证 Diff-eRank 的有效性，作者在基准测试数据集上，引入准确率作为比较指标。实验结果如下图显示，这三个指标在测试集上基本都在模型规模增加时变大。而且与 Loss 相比，Diff-eRank 与准确率的趋势更加一致，说明 Diff-eRank 可以有效地用于评估语言模型。
除了 OPT 之外，作者还用 Cerebras-GPT 和 OpenELM 家族进行实验。下图的实验结果体现 Diff-eRank 在不同模型家族中，都随着模型规模的上升而增加，并与 Reduced Loss 和基准测试准确率趋势相关，体现了 Diff-eRank 对不同模型家族的稳定性。
04.
Diff-eRank能否扩展评估多模态大模型
Diff-eRank 背后的思想还可以拓展用于多模态大模型的评估。例如，在视觉-语言多模态大模型中，我们可以通过借助表征的有效秩分析视觉和语言表征的匹配程度来衡量模型的模态对齐性能。
对于多模态实验，作者选择了两个最有名的开源多模态大模型：LLaVA-1.5 和 MiniGPT4-v2。这两个多模态大模型都使用了一个简单的连接器来对齐视觉编码器与大语言模型。
作者在 detail_23k 和 cc_sbu_align 这两个高质量的多模态指令数据集上进行实验。这些数据集中的每条数据都是由图像、指令和响应组成的三元组。实验中，作者将每个三元组的指令和响应拼接作为文本输入。
如上图所示，文章中的实验包括分析视觉编码器后图像表征的有效秩（ ），连接器的表征的有效秩（ ），以及大语言模型对单个图像输入（ ）、文本输入（ ）和图像-文本对输入（ ）的表征的有效秩。
为了衡量多模态大模型的「模态对齐」能力，研究团队引入了两个基于 eRank 的不同指标：
图像压缩比可以量化图像表征从视觉编码器到连接器的有效秩的减少，评估连接器在图文对齐训练中压缩和提炼视觉信息的效率。
图像-文本对齐指标可以评估大语言模型对图像、文本和图像-文本对的表征的有效秩之间的接近程度，进而反映不同模态的对齐程度。
下面的表中展示了 LLaVA-1.5 和 MiniGPT-v2 在不同数据集上均有较高的对齐分数，说明它们对齐良好。具体而言，LLaVA-1.5 在「图像-文本对齐」方面优于 MiniGPT-v2，表明在视觉和文本模态之间的对齐更紧密，这也与 LLaVA-1.5 在大部分测试集分数优于 MiniGPT-v2 的现象一致。
此外，研究团队还进行了额外的实验，计算了对图像进行顺时针旋转操作后的有效秩。下面表中的结果表明，所有与图像相关的量
在执行旋转后都会上升，这说明多模态模型能感知图像的细微语义变化，尤其是位置信息。图像旋转后，图像压缩比和图像-文本对齐分数均下降，表明连接器在压缩视觉信息方面效果变差，以及旋转后的图像与相应文本对齐性变差。这些基于秩的方法使我们能够深入了解多模态模型如何对齐不同模态的数据，以及模型如何处理和整合不同形式的输入数据。
05.
Diff-eRank结论与展望
Diff-eRank 作为一种全新的评估指标，为我们提供了一个独特的理论视角去理解和分析大模型的一种工作原理。
Diff-eRank 不仅有助于评估大模型的「数据去噪」能力，还可能为模型压缩（如剪枝、量化、蒸馏等）等技术的发展提供新的视角。
比如，Diff-eRank 或许有助于识别模型中哪些部分可以在不显著损失信息的情况下进行压缩。期待未来更多的研究者可以进一步拓展 Diff-eRank 的应用。
第一作者为上海交通大学 MIFA 实验室的博士生魏来和清华大学的博士生谭智泉，通讯作者为上海交通大学 MIFA 实验室的黄维然副教授，共同作者包括来自 William and Mary 的王晋东助理教授。
编辑丨赵雅鑫
----- END -----
wisemodel相关：
系统升级：
系列模型：
关于wisemodel更多
1
欢迎持续关注和支持
开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态。
2
欢迎加盟wisemodel开源社区
始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn
3
欢迎投稿优质内容
欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。
4
关于wisemodel开源社区
始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。
向上滑动查看
热门跟贴