为什么AI会认字困难？大连理工大学揭开视觉语言模型的意外盲区|图片化|大连理工大学|新论文|视觉|语言模型

你有没有想过这样一个问题：当你把一道数学题用漂亮的字体打印在纸上，然后拍照发给AI助手，它能像读普通文字消息一样轻松理解吗？

看似简单的问题，实际上暴露了目前AI系统的一个惊人弱点。2026年2月，大连理工大学人工智能学院，联合新加坡南洋理工大学，发布了一项研究"VISTA-Bench"，核心问题直指要害：那些号称能"看图说话"的视觉语言模型，真的能像理解普通文字一样理解图片中的文字吗？

答案是：不能，而且差得还挺远。

假如你是一位老师，面前坐着一个聪明的学生。当你用嘴巴告诉他一道题目时，他对答如流；但当你把同样的题目写在黑板上让他自己看时，他却开始磕磕绊绊、错误百出。这就是今天大多数AI视觉语言模型面临的尴尬处境。研究团队将这种现象称为"模态鸿沟"，同样的信息，用不同方式传递给AI时，效果竟然天差地别。

为什么研究者要关心"图片里的文字"

在深入了解这项研究之前，我们先来理解一个背景：当今的AI助手，比如各种聊天机器人和图像理解系统，被统称为"视觉语言模型"。顾名思义，它们既能处理图像，也能处理文字。这些系统在近年取得了长足进步，已经能够描述照片内容、回答关于图片的问题、甚至理解复杂的图表。

然而，研究者们发现了一个被忽视的盲点。在现实世界中，文字不仅以我们打字发送的形式存在，还大量出现在图片之中，想想街头的招牌、书籍的封面、PPT演示文稿、手写笔记，甚至是聊天截图。当这些"图片化的文字"被送到AI面前时，它需要先"看懂"图片中的字，然后才能理解其含义。这个过程就像你看一张模糊的照片，先要辨认出照片里是什么，然后才能思考它意味着什么。

更有趣的是，一些前沿技术正在探索"文字转图片"的应用场景。比如，当你需要处理一篇超长的文章时，把文字渲染成图片反而可能节省AI处理的"算力开销"。这就像把一本厚重的字典压缩成一张图片，理论上更高效，但前提是AI要能准确"读"出图片里的每一个字。

正是基于这些考虑，研究者们决定系统性地测试一下：当问题从"直接打字发送"变成"拍成图片发送"时，AI的表现会发生怎样的变化？

一场精心设计的"阅读理解"考试

为了回答这个问题，研究团队设计了一套名为VISTA-Bench的测试系统。这个名字可以理解为"视觉化文本理解能力测试台"。

想象你要测试一个学生是否真正理解了课本内容，而不是只会背诵。你会怎么做？最直接的方法就是：同样的题目，一次念给他听，一次让他自己看，然后比较两次的答题表现。如果两次表现差不多，说明他真的理解了；如果念给他听时答得很好，自己看时却错误连连，那问题就出在他的"阅读能力"上。

VISTA-Bench正是采用了这种对比思路。研究团队精心挑选了1500道题目，每道题都准备了两个版本：一个是普通的文字版本，直接发送给AI；另一个是"图片版本"，把同样的文字渲染成图片，让AI通过"看图"来获取信息。这样一来，如果AI在两个版本上表现差异明显，就说明它在"从图片中读取文字"这个环节出了问题。

为了让测试更加全面，研究团队还像搭建积木一样，构建了一个层层递进的能力框架。最底层是"感知能力"，AI能不能准确识别图片中的物体和文字；中间层是"推理能力"，AI能不能根据看到的信息进行逻辑思考；最顶层是"知识运用能力"，AI能不能调动自己学过的知识来解答问题。此外，他们还设置了一个特殊的"纯文字知识测试"，在这个测试中完全去除了任何辅助图片，AI必须纯粹依靠从图片化文字中读取信息来作答。

这就像是给学生安排了一次综合考试，既有看图识字的基础题，也有需要动脑筋的应用题，还有考验知识储备的综合题。通过这种多角度的测试，研究者能够精确定位AI的弱点到底在哪里。

令人意外的考试成绩单

当超过20款主流AI视觉语言模型被送上这个"考场"后，结果令人大跌眼镜。

首先，几乎所有模型都出现了明显的"模态鸿沟"。也就是说，当同样的问题从直接发送文字变成发送图片化文字时，AI的答题准确率普遍下降。这就好比一个学生，听老师念题时能答对90分，自己看题目时却只能答对70分。

具体来看，不同模型的表现差异很大。表现最差的一款名为NEO-9B-SFT的模型，准确率暴跌了30.8个百分点。另一款名为LLaVA-OneVision-7B的模型也下降了25.6个百分点。想象一下，这相当于一个原本能得优秀的学生，换了种考试方式后直接滑落到了及格线边缘。

不过也有表现相对稳定的"好学生"。GLM-4.1V-9B-Thinking模型只下降了2.1个百分点，Qwen2.5-VL-7B-Instruct模型更是只下降了2个百分点。更令人惊喜的是，MiMo-VL-7B-RL模型竟然逆势上涨了0.3个百分点，成为唯一一个在图片化文字测试中表现更好的模型。这就像班里的那个"怪才"，别人都说考试变难了，他反而觉得更顺手。

研究者还发现了一个有趣的规律：在涉及图片的多模态测试中，AI的表现下降相对温和；但在纯粹依赖图片化文字的测试中，下降幅度就大得多。这是为什么呢？研究者认为，当AI同时看到真实图片和图片化的问题时，图片内容能够提供额外的线索，帮助AI"猜"出正确答案。但当只有图片化文字时，AI完全没有其他信息可以依赖，一旦读错字就会满盘皆输。这就像看带字幕的外语电影，即使你听不太懂对白，还能通过画面理解剧情；但如果只给你一段没有画面的外语广播，你一旦听错关键词就完全迷失了。

字体大小和风格竟然也是"拦路虎"

研究团队并没有止步于此。他们进一步追问：既然AI在读图片化文字时会出错，那到底是哪些因素在影响它的"阅读体验"？

为了回答这个问题，他们像调节电视画面一样，尝试改变图片化文字的各种参数。首先是字体大小，他们测试了从9磅到64磅的不同字号，相当于从"蚂蚁般的小字"到"标题般的大字"。结果发现，当字体太小时，AI的表现急剧下降。这很容易理解，就像你看一份打印得很小的合同，即使视力再好也容易看错字。当字体增大到32到48磅时，AI的表现明显改善；但当字体继续增大到64磅时，表现又开始下降，因为一行能显示的字变少了，文字需要频繁换行，反而增加了阅读难度。

接下来是字体风格的测试。研究者选择了四种字体：标准的无衬线字体Arial、两种衬线字体Times New Roman和Cambria，以及一种手写风格的字体Brush Script MT。结果显示，使用标准字体时，AI的表现差异不大；但当换成手写风格字体时，准确率明显下滑。以Qwen3-VL-8B-Instruct模型为例，使用Arial字体时准确率为68.5%，换成手写字体后下降到64.5%。这告诉我们，AI对"规整"的文字识别能力还不错，但对潦草或花哨的字体就力不从心了。这就像一个习惯了看印刷体的人，突然让他辨认医生的处方笔迹，自然会头疼不已。

研究者还测试了不同的"提示语"设计，就是告诉AI"请看图片回答问题"时使用的措辞。他们发现，适当长度且有语义引导的提示语效果最好，而过于简短或过于复杂的提示语（比如要求AI"一步步推理"）反而可能适得其反。这有点像考试时的答题说明：简洁清晰的说明能帮助考生快速进入状态，而又臭又长的说明反而让人摸不着头脑。

追根溯源：问题究竟出在哪里

既然发现了问题，研究者自然要追问：AI到底是在哪个环节栽了跟头？是它读不准图片里的字，还是读准了字却没能正确理解？

为了找到答案，研究团队进行了一项精细的"错误分析"。他们专门挑出那些AI在直接读文字时答对、但在读图片化文字时答错的案例，然后分析这些错误是否与字体设置有关。

结果非常清晰：大多数错误都与字体渲染相关。当字体很小或使用手写风格时，错误率明显上升；当字体适中且规整时，错误率就低得多。这说明问题的根源在于AI的"视觉文字识别能力"不够强，而不是它的推理能力或知识储备出了问题。

打个比方，这就像一个学生数学能力很强，但因为近视看不清黑板上的数字，所以经常把"8"看成"3"，导致计算出错。问题不在于他不会算数，而在于他看不清题目。对于AI来说也是一样：它并非不懂如何思考，而是"读不准"图片中的文字，导致后续的推理建立在错误的基础上。

更值得注意的是，研究者发现那些整体表现较好的模型，其错误更集中在字体相关的因素上。这意味着随着AI推理能力的提升，"视觉文字识别"正在成为主要的瓶颈。这就像一个运动员各方面素质都很出色，但因为鞋子不合脚而发挥失常，问题不在身体素质，而在装备。

至顶AI实验室洞见

说到底，这项研究揭示了当前AI系统的一个重要局限：它们处理"看见的文字"和"直接接收的文字"时，表现并不一致。

对于普通用户来说，这意味着当你给AI助手发送截图、照片或任何包含文字的图片时，可能需要对结果保持一定的谨慎。如果是重要信息，最好还是直接打字发送，或者发送图片后再确认一下AI是否正确理解了内容。

对于AI开发者来说，这项研究敲响了一个警钟：仅仅追求"能看图"和"能聊天"是不够的，还需要确保AI在不同输入方式下都能保持一致的表现。这也指出了一个改进方向，加强AI从图片中准确提取文字信息的能力。

从更长远的视角看，这项研究触及了一个更深层的问题：人类可以毫无障碍地理解不同形式的语言，无论是听到的、看到的、还是触摸的盲文，因为我们的大脑对语言有着统一的表征方式。但当前的AI系统显然还没有达到这种水平。如何让AI像人类一样，对语言建立起真正统一的理解，将是未来的重要研究方向。

归根结底，这项研究告诉我们一个朴素的道理：技术的进步从来不是一帆风顺的。当我们惊叹于AI能够描述一张复杂的照片、能够进行流畅的对话时，也需要认识到它在一些看似简单的任务上仍然会绊跟头。正视这些不足，才能推动技术走向真正的成熟。