清华大学和北京航空航天大学的研究人员建立了第一个综合基准，用于评估视觉-语言模型（VLMs）在超过一百万张高度压缩图像上的性能，涵盖11种编解码器和7项任务。他们量化了性能下降，并将其分解为信息差距和泛化差距，还开发了一种轻量级VLM适配器，在特定任务上实现了高达30%的性能提升，并泛化到未见过的压缩编解码器。
论文标题： Benchmarking and Enhancing VLM for Compressed Image Understanding 论文链接： https://arxiv.org/abs/2512.20901 代码链接： https://github.com/bblgbr/CompressVLMBench一、背景与动机
随着视觉语言大模型（Vision-LanguageModels，VLMs）在各领域的快速发展和广 泛应用需求不断攀升，如何对输入图像进行高效压缩已成为一个日益关键的技术挑战。 当前主流视觉语言大模型主要针对高码率压缩图像或原始未压缩图像进行优化与训练， 其在高质量视觉信号理解方面已展现出卓越能力。然而，在低码率压缩图像这一极具实际应用价值却信息高度受限的场景中，模型的感知、推理与泛化能力尚未得到系统性的研究与充分探索。
本文首次提出了一个综合性评测基准，用于评估视觉语言大模型对压缩图像的解析能力。该基准涵盖了广泛使用的图像编解码器、多样化的任务类型，并包含超过一百万张压缩图像样本。在此基础上，本章从两个维度分析了性能差距的来源：一是压缩过程中产生的信息损失，二是视觉-语言模型的泛化能力不足。通过具体案例的可视化分析，发现对于压缩图像，模型泛化差距是很大的。基于此，本文提出了一种通用的视觉-语言模型适配器，旨在提升模型对现有编解码器压缩图像的处理性能。 实验证明，单一适配器即可将模型在不同编解码器和码率下的性能提升10%-30%。
二、全面基准测试框架
作者建立了一个前所未有的评估框架，涵盖了11种最先进的图像编解码器，分为三类：传统编解码器（JPEG, HM, VTM）、基于学习的编解码器（ELIC, TCM, MLICpp）和生成式编解码器（HiFiC, MS-ILLM, DiffEIC, RDEIC, StableCodec）。
该基准测试包含了超过一百万张压缩图像，并在一系列七个不同的视觉-语言任务中进行了评估，包括物体幻觉检测（POPE）、视觉推理（GQA）、图像描述（COCO-Caption）、文本识别（OCRBench）以及全面的多模态理解（MMBench, MME, SEEDBench）。九个具有不同参数量（1B到32B）的知名开源VLM在不同压缩条件下被系统地评估，特别关注低于0.3 bpp的低比特率场景。
基准测试揭示了几个关键发现。
Finding1：视觉语言模型对高压缩率图像的理解能力存在明显不足。
Finding2：更强的视觉语言模型对高压缩率图像的理解能力相对更强
Finding3: 生成式编解码器具有更优的语义重建能力，利于面向VLM的编码。
Finding4：适用于未见输入数据泛化的Scaling Law并不适用于压缩图像
Finding5：视觉语言模型任务性能与人类视觉像素级指标存在关联，但仍存差距
三、性能差距分析
本文引入了一个概念框架，将未压缩图像和压缩图像之间的总性能差距分解为两个不同的组成部分。信息差距表示压缩过程中任务相关视觉信息不可逆的损失，其正式定义为：
其中第一部分命名为信息距离，该部分被定义为无论对视觉语言模型进行何种程度的 微调都无法弥补的性能差距，其本质源于图像压缩过程中任务相关信息的不可逆丢失。当输入图像 经过压缩处理后，部分对视觉理解至关重要的语义特征已永久性丢失，这种信息层面的缺损无法通过后续模型优化来恢复。因此，缩小信息距离的唯一途径是改进压缩算法本身，通过增强语义保持能力来减少关键信息的损失。
第二部分称为泛化距离，它被定义为由于VLM在压缩图像上泛化能力不足而导致的性能差距部分。通过使 用压缩图像对VLM进行微调，可以有效减小这种差距。这证明泛化距离主要源于模型 对压缩伪影的适应能力不足，而非信息本身的缺失。
通过在JPEG、ELIC和MS-ILLM编解码器的压缩图像上微调Qwen-VL2.5-3B进行受控实验，作者量化了这些差距。例如，在SEEDBench上使用JPEG压缩时，总性能差距为13.25分，其中信息差距占9.5分，泛化差距占3.75分。这种分解提供了关键的洞察，即性能下降的很大一部分源于VLM的适应性限制，而非根本性信息损失。
四、通用VLM适配器设计
为了解决已识别的泛化鸿沟，该论文提出了一种轻量级VLM适配器，可在不要求完全模型重新训练的情况下，增强跨不同压缩场景的鲁棒性。该适配器通过将有关特定编解码器和压缩级别的条件信息直接整合到VLM的视觉编码器中来运行。
该方法采用独热编码来表示每个编解码器类型 ( ) 和比特率级别 ( )，然后通过嵌入层 映射到潜在嵌入空间，以生成编解码器条件嵌入 。此条件嵌入与视觉Transformer主干中的旋转位置嵌入 (RoPE) 相结合，创建了一个条件位置编码，使编码器能够根据压缩特性调整其特征提取。
该适配器使用蒸馏损失进行训练，该损失最小化了条件视觉编码器从压缩图像中提取的特征与原始编码器处理未压缩图像的特征之间的均方误差：
五、实验结果和影响
所提出的适配器在所有评估条件下都表现出显著改进。对于JPEG压缩图像，在POPE和SEEDBench指标上，适配器在低比特率下为QwenVL2.5-3B和InternVL3-1B模型实现了约30%的性能提升。ELIC和MS-ILLM在POPE指标上显示出超过10%的改进，BD-Metric结果证实QwenVL2.5-3B在JPEG压缩上获得了超过12个单位的增益。
关键的是，该适配器对未见编解码器表现出强大的泛化能力。在未经训练的HM、MLICpp和DiffEIC编解码器上测试时，适配器保持了持续的性能改进，验证了其“通用”设计理念。
六、意义和未来影响
这项工作对视觉语言建模和图像压缩的交叉领域做出了三项基本贡献。首先，它为系统评估VLM对压缩的鲁棒性建立了基础基准，为未来的研究提供了标准化框架。其次，信息鸿沟与泛化鸿沟的分解提供了一个原则性的分析框架，区分了压缩算法限制和VLM适应性问题。第三，通用适配器提供了一种实用、轻量级的解决方案，可以在不进行大量再训练的情况下显著提高VLM在各种压缩场景中的性能。
这些影响不仅限于学术研究，还延伸到实际部署场景，在这些场景中，VLM 必须在带宽和存储受限的条件下运行。这项工作直接促成了 VLM 在移动应用、边缘计算环境和资源受限设置中更高效的部署。此外，关于编解码器特定性能特征的见解为开发下一代压缩算法提供了宝贵的指导，这些算法针对机器感知而非单纯的人类视觉质量进行优化。
Illustration From IconScout By IconScout Store
立足全球视野，深耕学术沃土，五位青年教授的线上闭门交流
北京时间7月15日(周三) 晚20:00截止报名
详情点击图片跳转
-The End-
本周上新！
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
yimingzhang@thejiangmen.com
或添加工作人员微信（aceyiming）投稿，沟通投稿详情
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。
将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
点击右上角，把文章分享到朋友圈
热门跟贴