你有没有想过，当你在脑子里琢磨一个空间问题的时候，比如说家里沙发怎么摆才不挡路，你其实很少是靠说话来想的。你会在脑子里画一张图，转一转，比较一下，然后才有答案。
但现在最火的那些多模态AI大模型，恰恰不是这么干的。它们看到图片,想问题的时候，会把图片翻译成一堆文字描述,然后用文字去推理。这就好比让一个建筑师蒙上眼睛，只靠别人口头描述房间布局来画设计图。有些问题这样勉强能应付，但凡是涉及到「这个东西挪个位置会怎样」「从另一个角度看会是什么样子」的问题,靠嘴说基本就废了。
这篇来自达姆施塔特工业大学和hessian.AI的论文,提出了一个思路,直接让AI在推理过程中调用图像生成模型，把「用嘴描述图片」换成「直接画一张新图出来看」。这个系统叫ReImaGin。
问题出在哪儿
先说清楚现在的AI是怎么处理带图片的复杂问题的。
主流做法叫链式思维（Chain-of-Thought）
链式思维：让AI把一个复杂问题拆解成一步一步的中间推理过程,再给出最终答案,而不是直接蒙一个结果。
,这套方法在纯文字任务上效果拔群,GPT系列靠这个在数学题、逻辑题上突飞猛进。研究者自然想把它搬到图文混合任务上,让AI看图说话、一步步推理。
问题是,这套「看图说话」的推理链条,从头到尾都是文字。AI看一眼图片，把图片信息压缩成文字描述，然后所有后续推理都在文字层面进行。这就像你去看一场足球比赛，但只能通过耳机听解说员的描述来判断球员跑位，你永远没法自己看回放。有些简单的判断没问题，解说员说了「球在禁区」你就知道危险了。但如果解说员没提到「后卫此时正好挡住了射门角度」，你就永远想不到这一层，因为这个信息压根没被翻译成语言传给你。
后来有人想到了办法：给AI配一些专门的视觉工具，比如深度估计模型、物体检测模型、抠图工具。AI在推理的时候可以调用这些工具，得到一些结构化的视觉信息辅助判断。这类框架里比较有代表性的是Visual Sketchpad
Visual Sketchpad：一个给多模态大模型配备固定视觉工具箱（比如裁剪、检测、深度估计）的框架，AI可以在推理时调用这些工具处理图片。
这套方案确实比纯文字推理强不少，但它有一个天生的短板。这些工具都是「专才」，深度估计模型只能估深度，物体检测模型只能框物体，它们各自守着自己那一亩三分地，谁都干不了别人的活。如果任务需要的操作是「把这个被挡住的东西露出来看看」或者「把两张不同角度的照片拼成一张完整的房间地图」，这些工具箱里根本就没有对应的螺丝刀。
如果任务超出了工具箱里已有工具的能力范围会怎样？答案是，AI只能干瞪眼，或者硬凑一个不靠谱的答案。这就是Visual Sketchpad这类方案在论文实验里常常翻车的原因，它面对的题目根本不是「测个深度」这么简单的活，而是需要生成、想象、重构的活。
换个思路：让AI直接画图
ReImaGin的思路简单粗暴，但确实是个漂亮的转折。
既然专才工具箱不够用，那就换成一个万能工具，用最新的指令跟随式图像生成模型
指令跟随式图像生成模型：能理解自然语言指令并按指令生成或修改图片的AI模型，比如输入「把这张图里的黑框去掉，补全被挡住的部分」，它就能照做。论文里主要用的是谷歌的Nano-Banana-Pro（技术名Gemini-3-Pro-Image）。
这个转变的关键在于，图像生成模型不再是只会一招的专才，而是能听懂人话、按需应变的通才。AI推理到某一步，觉得「这里我需要看看这个物体被挡住的部分长什么样」，直接用自然语言跟生成模型说一句「把黑框去掉，补全图案」，生成模型就给你画一张新图出来，这张图直接塞回AI的推理上下文里，AI接着往下想。
这就好比你原来只有一把固定尺寸的螺丝刀，现在换成了一个会听话的机器人助手，你说什么它就能大致按你说的做出来，不管是拧螺丝还是钻孔。
论文里给了一个特别直观的例子。任务是空间推理，给AI两张房间里不同角度拍的照片，问「进门之后写着字的那张纸在哪个方向」。麻烦的是，这两张照片里，一张能看到门、看不到纸，另一张能看到纸、看不到门，两条信息压根凑不到一起。AI要是老老实实看图说话，两张图各自的文字描述里都缺一半信息，怎么拼都拼不出答案。
ReImaGin的做法是，调用生成模型，指令是「把这两张图拼成一张俯视地图」。生成模型真给画出一张俯视图，把两张照片里散落的物体，门也好、纸也好，全部塞进同一张画面里。AI这时候再看这张俯视图，答案就清清楚楚摆在那儿了：纸在门的左边，人背对门站着，纸自然就在右手边。
这个案例特别值得琢磨的地方在于，AI并没有真正拥有俯视上帝视角的信息。房间根本没有俯视摄像头，生成模型也没有透视这个房间的超能力。它做的事情，本质上是把两张平面照片里蕴含的空间线索，重新组织成了一张符合人类空间直觉的示意图。这跟你自己在纸上画草图理清思路是同一个逻辑，画图这个动作本身不产生新信息，但它把散落的信息重新排列成了一个更容易被大脑处理的形式。
六个任务，全面开花
光讲一个漂亮案例不够，得看数据说话。研究者在六个差异很大的视觉推理任务上测试了ReImaGin，覆盖深度感知、拼图补全、遮挡计数、碰撞预测、多视角空间推理，还有他们自己设计的一个路径追踪任务。
先说说这些任务分别在考验什么。深度感知任务用的是BLINK基准
BLINK：一个专门测试多模态大模型能不能看懂但看不明白视觉细节的评测基准，比如判断图片里两个点哪个离摄像头更近。
，就是给一张图，标出两个点，问哪个点离镜头更近。这个任务对人类来说轻而易举，但纯靠语言描述来判断远近，AI其实经常翻车。
拼图补全任务来自MIRA
MIRA：一个考察AI能不能靠视觉思维链解题的基准，代表任务是从五个候选图案里挑出能填补图片缺口的那一块。
，给一张图上留个白色缺口，配五个候选拼图碎片，选出严丝合缝的那个。
遮挡计数任务来自CAPTURe
CAPTURe：一个用「数被遮挡的物体」来考察空间推理能力的基准，图里有一堆同类物体，其中一部分被黑框挡住，要求数出全部数量，包括看不见的那部分。
。碰撞预测任务来自Spatial457
Spatial457：一个考察六维空间推理能力的诊断基准，给出俯视视角的场景图，问某个物体如果往前或往后移动会撞上什么。
。多视角空间推理来自MMSI
MMSI：多图像空间智能基准，专门测试AI能不能整合多张部分重叠的室内场景照片来回答物体相对位置的问题。
。路径追踪则是这篇论文自己设计的新任务，图里有四个数字和四个字母，每个数字都用一条虚线连着某个字母，AI要判断哪个数字连哪个字母。
三个模型的测试结果都相当一致：ReImaGin在几乎所有任务上，都稳稳超过了什么工具都不用的纯文字推理，也超过了Visual Sketchpad那种固定工具箱方案。
用GPT-5测的数据尤其有说服力。拼图任务上，纯文字推理只有29.5%的准确率，配上Visual Sketchpad反而掉到了16.7%，而ReImaGin冲到了44.9%，几乎翻了一倍还多。这个反常的现象值得多说一句：Visual Sketchpad用了固定工具反而比什么都不用还差，这说明当工具箱里没有对症的工具时，硬塞进去的工具反而会干扰推理，产生噪音。这不是工具本身不好，而是这套任务根本不是深度估计、物体检测那几把螺丝刀能解决的问题，硬用就是帮倒忙。
路径追踪任务上差距同样惊人，Gemini-3.1-Pro跑纯文字推理是71.5%，ReImaGin直接干到89.0%，提升了将近18个百分点。遮挡计数任务用的是误差指标，数字越小越好，Gemini-3.1-Pro纯文字推理误差是8.9%，ReImaGin降到7.1%，GPT-5上更明显，从12.5%降到7.4%，几乎降了一半。
这些提升数字背后到底意味着什么？拿路径追踪来说，89%和71.5%的差距，意味着原来每追踪100条虚线路径，AI要错29条，现在只错11条，几乎少犯了三分之二的错。放在实际场景里想象一下，如果这是一个帮你规划物流路线的AI，原来每三条路线就错一条，现在每十条才错一条，这个可靠性的差距足够决定这套系统能不能真正拿来干活。
唯一一个ReImaGin没有全面碾压的场景，是Gemini-3.1-Pro在深度感知任务上，Visual Sketchpad拿到了99.2%，比ReImaGin的94.6%还高。原因也不难理解，深度估计本来就是Visual Sketchpad工具箱里的专精项目，人家就是干这一件事的专用模型，专才在自己的主场发挥优势也说得通。这也提醒我们，通才工具不是万能药，在专才工具本来就很成熟的窄场景里，专才可能依然更精准。
生成的图片靠不靠谱
这里必须诚实地面对一个问题：让AI画图辅助思考，前提是画出来的图得靠谱。图像生成本身是有随机性的，同样的指令，生成模型每次画出来的东西可能长得不太一样。
研究者专门做了一次人工审查，从六个任务里各挑了大约20张生成的图片，一共120张，人工判断这张图是不是真正忠实完成了要求的转换。结果是75%的生成图片是靠谱的。
更关键的是这个靠谱程度和最终答对没答对的关系。当生成的图片是靠谱的，AI最终答对的概率是87%；如果生成的图片跑偏了，答对的概率骤降到43%。这个数字差距说明了一件事，图像生成这一步不是可有可无的装饰，它是整条推理链上真正的关键节点，一旦这一步出错，后面的推理再怎么努力也很难自己纠正回来。
这就好比你让一个朋友帮你画路线草图，如果他画错了方向，你按这张错图走，走出错误的方向的概率会大大增加，就算你自己路感再好，起点错了终点也难对。
针对某些特别难画的场景，比如刚才提到的空间推理任务里那张俯视地图，生成模型有时候确实会把物体的相对位置画错。研究者的应对办法叫测试时扩展
测试时扩展：在推理阶段增加计算量来提升效果的技术，这里具体做法是让生成模型针对同一个指令生成多张候选图片，再用另一个AI模型挑出最忠实于指令的那张。
，简单说就是别只生成一张图，生成十张，然后让另一个AI当裁判，从十张里挑出最靠谱的那张。
这个做法在空间推理任务上效果立竿见影。Gemini-3.1-Pro不用这个技巧只有51.0%，用上之后冲到59.0%。Qwen-3.5-27B更夸张，从42.0%涨到54.3%，涨了12个百分点。而且论文里特意强调，这个提升完全是靠改善图片质量拿到的，文字推理部分一个字都没变，纯粹是给AI一张更准的参考图，它自己就能想明白答案。
不过研究者也发现，这套多次采样挑最优的策略，只在需要复杂几何变换的任务上有用，比如俯视地图这种。像拼图补全、遮挡计数这类相对简单的编辑任务，生成模型每次画出来的结果基本一致，没什么可挑的余地，所以没必要浪费算力多采样。这提示我们一个朴素但重要的道理：额外的算力要用在真正有不确定性的地方，用错地方就是白费功夫。
省下人工，让AI自己摸索该画什么图
前面提到的所有案例，「画俯视地图」「把虚线变实线」「去掉遮挡黑框」，这些具体的策略，一开始都是研究者手工设计塞进AI的提示词里的，靠的是人给AI打样，告诉它「碰到这种题就该这么用画图工具」。
这就带来一个明显的痛点：每换一个新任务，就得有人坐下来琢磨半天，想清楚这个任务最适合生成什么样的图，然后把这套策略手写进提示词。这个人力成本不是一次性的，而是随着任务种类增加线性累加的。
研究者于是又往前走了一步，试着让AI自己摸索出合适的策略，不靠人手写范例，只靠一个训练集和一个开发集的反馈信号，通过一轮一轮的迭代提案和评估，自动找出一套管用的策略提示词。这套自动发现机制的运作方式是，先跑一版最朴素的提示词打个底分,然后一个「提案模型」根据训练集里做对和做错的案例，提出几个新的候选提示词，拿到开发集上打分，挑出表现最好的几个，再继续下一轮迭代提案，跑四轮。
结果相当耐人寻味。自动发现出来的策略，很多时候和人类手工设计的策略惊人地相似。比方说深度感知任务，自动发现的策略学会了「生成一张深度图」，和研究者手工设计的思路几乎一模一样。碰撞预测任务里，自动发现的策略学会了「从物体正面画一条箭头指向前进方向」，这不就是研究者原本手工写的策略吗。
这说明了一件挺深刻的事情，大模型对「什么样的视觉转换能帮助解决这类问题」，本身是有相当靠谱的直觉的。它不是瞎猜出这个策略的，而是通过看训练集里的成功和失败案例，反推出了背后的规律。这跟一个新手厨师光靠尝几次菜、看看哪次做对了哪次做砸了，就能摸索出「肉要先腌半小时」的道理，是同一个学习逻辑。
当然自动发现的策略不是百分百追上手工版本。以Gemini-3.1-Pro配Nano-Banana-Pro这套组合为例，手工策略在遮挡计数任务上误差是7.1%，什么策略都不给是12.1%，自动发现的策略是8.0%，介于两者之间，明显比裸奔强，但没完全追平手工设计的水平。
差距比较大的一个案例是路径追踪任务。手工策略只让生成模型「把虚线变成实线」，简单直接。自动发现的策略更进一步，要求「把不同的路径染成不同颜色」，听起来更聚焦、更贴心，但实际效果反而稍逊一筹。研究者分析出的原因是，生成模型让虚线变实线这个操作几乎从不出错，但要求它给好几条路径分别染上正确且前后一致的颜色，难度陡增，模型经常在染色环节上出岔子，反而拖累了整体表现。
这个反差恰恰揭示了一个朴素的道理：更花哨、更精细的策略不一定就更好，关键要看这个策略对生成模型来说是不是「够得着」的操作。给一个只会用蜡笔涂色的孩子布置一个「精确按数字涂色不能出界」的任务，听起来更细致，但实际执行出错率反而会飙升，还不如让他随便涂个大色块来得靠谱。
更有意思的是跨模型迁移测试。研究者把用强模型Gemini-3.1-Pro摸索出来的策略提示词，原封不动地搬到弱一些的开源模型Qwen-3.5-27B上试，不重新训练、不重新摸索。结果这套策略在五个任务里的四个上，依然比什么都不给强，说明策略本身承载的智慧确实是能跨模型通用的，不完全是死记硬背某个特定模型的怪癖。但在遮挡计数任务上，迁移后的表现反而下降了，这提醒我们，给强模型量身定做的精细策略，未必能无损地套用到能力更弱的模型身上，有些策略需要模型本身具备一定的理解能力才能真正执行到位。
开源模型能不能顶上
Nano-Banana-Pro是谷歌的闭源顶级模型，普通开发者用起来成本不低。研究者也测试了两个开源图像生成模型能不能顶替它的位置，分别是FLUX.2和Qwen-Image-Edit-2511。
结果是各有胜负，谁也没能全面接管Nano-Banana-Pro的位置。FLUX.2在深度感知任务上翻车了，只有89.1%，反而比什么工具都不用的91.7%还低。Qwen-Image-Edit-2511则是在路径追踪任务上拉了后腿，只有76.0%，明显落后Nano-Banana-Pro的89.0%。
但有意思的是，在遮挡计数这个相对简单的补全任务上，两个开源模型的表现甚至比Nano-Banana-Pro还稍好一点，FLUX.2误差7.0%，Qwen-Image-Edit误差6.8%，Nano-Banana-Pro是7.1%。
这个模式说明了一件事：开源模型在局部编辑这类相对简单直接的操作上已经很能打了，但在需要精确空间理解、需要全局一致性的复杂几何变换上，还是和顶级闭源模型有明显差距。这就像修自行车的师傅换个刹车片手到擒来，但让他重新设计整台车的车架结构，那就不是一回事了。
写在后面
读完这篇论文，我最先被击中的一个点，其实是Visual Sketchpad在某些任务上反而比什么都不用还差的那组数据。这不是一个「新方法完胜旧方法」的常规叙事，而是一个更扎心的提醒：给AI塞一堆专业工具,不一定是纯粹的加分项，如果工具和任务不匹配，它反而会成为干扰推理的噪音源。这个发现比「ReImaGin更强」这个结论本身更值得记住，因为它戳破了一个常见的错觉，工具越多越好用。
另一个让我反复琢磨的细节是，那张俯视地图案例里，AI其实并没有真正获得房间的俯视信息，生成模型也没有透视墙壁的超能力，它做的事情本质上是把两张平面照片里已经隐含的空间线索，重新组织成了一种更适合人类和AI处理的形式。这让我意识到，很多所谓「AI突破」，未必是获得了全新的信息输入，而是找到了一种更聪明的方式，把已有的信息重新摆放，摆到一个大脑或算法更容易读懂的位置上。这跟人类解决问题时经常做的事情，画个草图、列个表格，其实是同一件事。
这篇论文里还有一个没被大书特书但我觉得挺关键的现象：图片生成的忠实度和最终答案的正确率之间存在着87%对43%的巨大落差。这意味着整套系统的天花板，最终卡在图像生成模型自身的能力上。这也意味着，这条路要走得更远，接下来真正的战场未必在推理框架的设计上，反而更可能在图像生成模型本身的精确度和空间理解能力上。如果有一天图像生成模型能做到指哪打哪、丝毫不差，这套「用画图来思考」的框架大概会展现出比现在测出来的数字更惊人的潜力。
Q&A
Q1：ReImaGin是什么？
A：ReImaGin是达姆施塔特工业大学和hessian.AI提出的多模态推理框架，让AI在解答视觉问题时可以调用图像生成模型画出中间过程的辅助图片，而不是只靠文字描述图片内容来推理。
Q2：ReImaGin和Visual Sketchpad有什么区别？
A：Visual Sketchpad给AI配的是固定的专才工具，比如只能测深度、只能检测物体，功能受限。ReImaGin配的是能听懂自然语言指令、可以自由生成或修改图片的通才生成模型，能应对更多开放式的视觉操作。
Q3：让AI自己画图辅助推理靠不靠谱？
A：研究者审查了120张生成图片，75%是忠实完成指令的。当生成图片靠谱时，AI最终答对的概率是87%，图片跑偏时答对概率降到43%，图片质量直接决定了推理的可靠性。
热门跟贴