多模态大模型处理视觉信息时，往往需要消耗海量计算资源。紫东太初团队最新提出一种名为GMC（核心集剪枝）的优化方法，在不牺牲模型性能的前提下，可将视觉Token数量大幅压缩80%，为多模态AI的高效落地提供了新思路。 这项研究的核心在于两项机制：互补证据筛选与信息传输。所谓互补证据筛选，是让模型在层层Token中精准定位最具代表性、信息量最丰富的视觉片段，而非简单随机丢弃；信息传输机制则确保剪枝后视觉信息仍能有效传递至语言模型，避免关键特征在压缩中丢失。 实验数据显示，即便视觉Token减少八成，模型在图像描述、视觉问答、跨模态检索等任务上的表现依旧保持原有水平，高精度与低幻觉能力得到完整保留。这意味着，过去需要庞大算力支撑的多模态任务，如今可在更轻量、更高效的框架内完成。 业内分析认为，GMC方法的价值不仅在于降低推理成本，更在于缓解视觉Token冗余带来的注意力分散问题，从而提升模型对关键信息的聚焦能力。这为多模态模型在移动设备、边缘计算等资源受限场景的应用打开了更广阔的空间。

打开网易新闻 查看精彩图片