截图大概是人们丢给聊天机器人最常见的东西之一。不用花几分钟把屏幕上的内容敲出来,一张图丢过去,信息就进去了。也正因如此,图像理解成了为Claude、Gemini这类旗舰模型付费的重要理由之一。

打开网易新闻 查看精彩图片

相比之下,小体量的本地模型在视觉能力上一直偏弱,尤其是在只有8GB显卡的情况下——跑不了9B以上的模型,上下文也开不到30k以上。但本地模型似乎已经追上来了,至少纸面上是这样。于是有人把平时习惯丢给Claude和Gemini的截图与照片,原样喂给了自己RTX 3070上的一个9B模型,看它到底有没有一拼之力。

这个9B模型,眼睛从哪来

受限于测试新开源模型的条件,找到Qwythos 9B时颇为兴奋——它在显卡上跑得相当顺。这是社区团队Empero AI的微调作品,这家小实验室的做法是拿现有开源模型重新训练,Qwythos 9B v2就是他们对阿里巴巴Qwen 3.5 9B的改造版本,用了一种叫FTPO的技术来减少循环输出,同时保留推理能力。

关键在于,这些训练并没有动到它“看”的部分。按Empero的模型卡说明,只有文本侧被训练过,视觉部分保持冻结。所以一开始它看起来并不是图像能力最强的选择。不过它继承了Qwen的视觉塔,理论上总该有点用处——实际表现也确实如此,取决于你发什么给它。

Qwen自己的模型卡给出的数据是:这个9B在OCRBench上得89.2,这项测试考的是读取图片中的文字;在ScreenSpot Pro上得65.2,考的是模型能否在繁杂的软件界面里找到特定按钮。这些是阿里巴巴给出的数字,只能当作粗略参考。但与Qwythos的实际体验基本吻合——UI场景不算最强,图片里的文字却相当能打。

视觉能力还需要一个更小的配套文件,叫视觉投影器,负责把图像转换成语言模型能处理的形式。LM Studio内置的下载器会自动把它抓下来。Qwythos的Q4_K_M版本体积为5.74GB,再加上约0.9GB的投影器,8GB显卡上仍有富余。

小模型对上Gemini和Claude,看图里有什么

过去一年里,Claude、Gemini和本地模型各自承担着不同的图像任务,在工具栈里各有位置。要标准化对比并不容易,能做的只是给它们相同的图片和提示词。原本并不指望Qwythos能胜出,毕竟对手是Opus 5.5和Flash 3.8这样的主力选手,目的只是看它能不能跟上。

在文字为主的截图上,它跟得非常好。比如从一张杂乱的桌面截图里提取某一条聊天机器人回复,Qwythos逐行抄了出来,与Opus几乎逐字一致,而Gemini反而抓错了图中的部分。文件和文件夹截图同样顺利——文件浏览器和设置面板大多是标签和数字,它甚至发现了一个文件:其标注的类型与扩展名对不上。

可以说,如果你发截图的主要目的就是省去重新打字,那么8GB显卡上的9B模型大概率能帮上忙。

但当图像需要在复杂视觉元素之间做判断时,它就开始晃了。在一张关于修改项目帧率的视频编辑器弹窗上,Qwythos把内容全读对了,然后解释了每个按钮分别在什么情况下按,却没有做出选择。Opus立刻指出了问题所在,说明了原因,还标记出弹窗里的文件名与时间线上的片段名不一致。Qwythos也把两个名字都读对了,但没把这种不一致当成值得核查的事。它的回答也偏长,不过在这张卡上大约每秒20个token,等待时间很短,而且这可以用Claude和Gemini并不开放的那些设置来收敛。

留在自己电脑里的那些图

不想传到云端的照片,恰恰是最容易读的。这类场景大多是私人截图,而不是按钮或应用窗口。最典型的例子是一张药品照片,或者一张恰好露出个人文件名、登录信息、账单、合同等可识别内容的截图。这些图对Qwythos来说读起来轻松,也最不容易出错——不需要完整的UI布局分析,只需要把信息提取出来。用它,也不必去研究数据保留政策,或者操心退出模型训练的事。

不是每张截图都需要前沿模型。有意思的是,当初选Qwythos是看中它那种Claude式的思考,而它表现最好的任务,恰恰是这种思考最不重要的任务。这个月的Gemini订阅还没续,正在考虑是否还值得——重活交给Claude,私密活交给Qwythos,剩下的并不多。而读图这一侧,覆盖了发给任何模型的大部分内容,无论公私。订阅这笔账,开始算不平了。