wisemodel开源社区

在多模态大模型领域，新手进行模型训练面临诸多挑战。随着模态数不断增多，对齐算法训练启动涉及的路径规划和超参数传递极为复杂，使得新用户难以快速上手开展训练工作。
在此背景下，由北大、华为、阿里等组成的align - anything项目应运而生，在数据集、算法、评估以及代码库四个关键维度贡献开源力量。其数据集涵盖图、文、视频、语音全模态，共200k且包含人类语言反馈和二元偏好数据。算法通过从语言反馈中学习合成数据范式，提升RLHF后训练方法表现，评估面向全模态模型的模态联动与选择。值得一提的是，该项目代码库支持全模态训练与评估，将训练流程模块化，新手仅需了解PyTorch和Transformers就能轻松理解相关代码。同时，项目还提供超30个装填好模型、数据集路径的训练脚本，简单执行即可开启训练，极大降低了新手参与全模态对齐研究的门槛。目前系列成果均已上线始智AI-wisemodel开源社区，欢迎前去体验和使用。系列成果地址 https://wisemodel.cn/organization/PKU-Alignment

自从GPT、PaLM、Llama等预训练大语言模型在自然语言处理任务上表现出色，大语言模型发展迅速，从单模态扩展到多模态，如MiniGPT-4、LLaVA等在应用场景中效果惊艳。全面、科学地评估这些模型的性能成为研究者的重要挑战。
传统评估方法多关注模型在下游任务上的准确率、交叉熵损失等指标，只比较预测结果与标注标签，无法深入探究模型内部信息处理过程。对于多模态大语言模型，现有评估指标也无法评价模态之间的对齐程度等重要维度。因此，现阶段纯语言大模型和多模态大模型的评估方法存在较大局限性，需要多元化、精细化的评价方法。为解决这些挑战，上海交通大学和清华大学等科研团队的研究者提出了全新的大模型评估指标Diff-eRank。这是一种基于模型表征的“有效秩”的评估指标，从信息论和几何学的角度分析并量化大语言模型在训练前后如何剔除冗余信息，并以此衡量模型性能。与传统评估指标不同，Diff-eRank不依赖模型的输出结果，而是通过分析模型的隐藏表征来评估模型的性能。对于多模态大模型，研究团队还设计了基于有效秩的评估方法，通过比较不同模态表征之间的有效秩匹配程度来评估模态对齐性能，证实了主流多模态大模型具有出色的对齐能力。目前已上线始智AI-wisemodel开源社区，欢迎大家前去下载和体验。代码地址 https://wisemodel.cn/codes/Walton/Diff-eRank