这项由上海AI实验室联合马里兰大学、香港中文大学、清华大学、Shanda AI Research以及莱斯大学共同完成的研究发表于2026年2月，论文编号为arXiv:2602.20739v1。有兴趣深入了解技术细节的读者可以通过该编号查询完整论文。
在人工智能快速发展的今天，大家都见过ChatGPT这样能对话的AI，也体验过能识别图片的视觉AI。但是，当我们希望AI不仅能"看懂"图像和视频，还能像人类一样"动手"分析、处理和解决视觉问题时，就会遇到一个令人头疼的难题。
比如说，你给AI看一张复杂的图表，问它某个细节在哪里。传统的AI可能会告诉你"在左上角"，但如果你希望它能像人类一样放大那个区域、标记重点、甚至裁切出来单独分析，就变得困难了。这就像是给了一个人眼睛却没给手一样，只能看不能动手操作。
更棘手的是，当研究人员尝试用强化学习训练这些"会动手"的AI视觉模型时，经常会遇到一个被称为"交互崩溃"的奇怪现象。就像一个本来很勤快的学生，在经过一段时间的训练后，突然变得越来越懒惰，能用一步解决的问题绝不用两步，能直接给答案就不愿意分析过程。这种现象让很多研究者怀疑，是否让AI"动手"真的有价值。
面对这个挑战，这个国际研究团队提出了一个创新的解决方案：PyVision-RL框架。这个框架的核心思想非常巧妙，它把Python编程语言当作AI的"万能工具箱"，让AI能够根据不同的任务需求，自动编写和执行代码来处理图像和视频。
这种方法的精妙之处在于其灵活性。传统的方法会给AI预设一些固定的工具，比如"放大"、"裁切"、"旋转"等功能。但PyVision-RL不是这样，它让AI学会了编程，可以根据具体需要创造出各种处理方法。就像给了一个工匠不是一套固定的工具，而是教会了他制作工具的技能，这样他就能根据不同的任务制作出最合适的工具。
研究团队针对图像理解开发了PyVision-Image模型，针对视频理解开发了PyVision-Video模型。这两个模型都采用了统一的训练流程，但在处理方式上有着巧妙的差别。
一、图像处理的新突破：让AI学会精细化操作
PyVision-Image的工作方式就像一个经验丰富的图片编辑师。当它接到一个图像分析任务时，会首先观察整体情况，然后开始一步步深入分析。
在处理图像时，PyVision-Image采用了一种类似医生诊断的工作流程。医生看病时会先整体观察患者，然后根据需要做各种检查，比如量血压、听心跳、看X光片等，每一步检查的结果都会影响下一步的决策。PyVision-Image也是如此，它会根据当前的观察结果，动态决定下一步需要执行什么样的图像处理操作。
比如，当处理一张包含复杂图表的图像时，PyVision-Image可能会先显示整张图片获得全局印象，然后发现某个区域很关键，就会编写代码放大那个区域。如果发现颜色对比度不够清楚，它会调整对比度。如果需要分析数据趋势，它会提取数值并绘制新的图表。整个过程完全自动化，却又极其灵活。
这种工作方式的优势在于其适应性。每个图像理解任务都可能需要不同的处理策略。有些任务需要精确的像素级分析，有些需要整体的构图理解，还有些需要复杂的数学计算。传统的固定工具无法应对这种多样性，但PyVision-Image可以根据具体需求"量身定制"处理方案。
在实际测试中，PyVision-Image在多个视觉搜索基准测试中表现出色。在V*基准测试中，它比基础模型提高了10.2%的准确率；在HRBench-4K和HRBench-8K测试中，分别提高了6.5%和6.4%的准确率。这些提升看似不大，但在AI领域，每个百分点的提升往往代表着巨大的技术突破。
更令人印象深刻的是，PyVision-Image在数学推理方面的表现。在DynaMath、MathVerse和WeMath等数学视觉理解任务中，它相比之前最好的模型分别提高了4.4%、3.1%和9.6%。这说明AI不仅学会了基础的图像处理，还获得了进行复杂视觉数学推理的能力。
二、视频理解的革命性改进：按需构建视觉上下文
视频处理比图像处理复杂得多，就像阅读一本书比看一张图片难很多一样。传统的视频AI处理方法通常是均匀地从视频中抽取一些帧，然后把这些帧都输入给AI模型。这就像是为了理解一本小说的情节，机械地每隔10页撕下一页来阅读，显然会错过很多重要信息，同时也会包含很多无关内容。
PyVision-Video采用了一种革命性的"按需上下文构建"方法。它的工作方式更像一个聪明的研究员，会根据研究问题的具体需求，有针对性地查看视频的相关部分。
这个过程的工作原理是这样的：当PyVision-Video接到一个视频分析任务时，它不会一开始就把视频的所有帧都加载到内存中。相反，它会把完整的视频保存在后台的Python运行环境中，然后根据任务需求，动态地编写代码来抽取和显示相关的视频帧。
举个具体的例子，如果任务是"分析视频中演员在最后一半时间里的行为"，PyVision-Video会聪明地只抽取视频后半部分的关键帧进行分析。如果任务是"计算视频中出现了几次特定动作"，它会编写代码系统地遍历视频，寻找包含目标动作的时间段。这种方法不仅更加精确，还大大减少了计算资源的消耗。
这种按需处理的优势是显著的。在效率方面，PyVision-Video平均每个样本只使用5000个视觉token，而传统方法需要45000个token，效率提升了9倍。同时，在VSI-Bench空间推理测试中，PyVision-Video的准确率达到44.0%，而传统的Qwen2.5-VL-7B模型只有38.0%。这意味着PyVision-Video不仅用更少的资源，还取得了更好的效果。
更重要的是，这种方法解决了视频AI长期面临的一个核心问题：如何平衡信息完整性和计算效率。通过按需构建上下文，PyVision-Video可以在保证获取必要信息的同时，避免处理大量无关内容。
三、解决AI训练中的"懒惰"问题：创新的强化学习策略
在训练会使用工具的AI模型时，研究人员经常遇到一个令人困扰的现象：模型在训练过程中会逐渐变得"懒惰"，倾向于减少工具的使用，最终可能完全放弃多步推理的习惯。这就像一个学生刚开始学习时很认真，会一步步分析问题，但随着时间推移，越来越倾向于猜测答案而不是深入思考。
这种"交互崩溃"现象的根本原因在于传统强化学习的奖励机制存在缺陷。通常，AI只有在给出正确答案时才会得到奖励，而使用工具的过程本身并不直接产生奖励。久而久之，AI就会学会走捷径，能直接猜答案就不愿意费力使用工具分析。
为了解决这个问题，研究团队提出了一个巧妙的"累积工具奖励"机制。这就像是在传统的"答对题目得分"基础上，增加了"认真分析过程也得分"的规则。具体来说，当AI正确回答问题时，不仅会因为答案正确获得奖励，还会根据使用工具的次数获得额外的奖励。
这种奖励机制的设计非常精明：它只在答案正确的前提下才给予工具使用奖励，这样既鼓励了深入分析，又防止了无意义的工具滥用。就像是告诉学生"只有在答对题目的基础上，认真的分析过程才会加分"，这样既保证了结果的正确性，也激励了过程的严谨性。
除了奖励机制的改进，研究团队还开发了一套"过采样-筛选-排序"的训练策略。这个策略的工作原理类似于优秀教师的教学方法：首先准备大量的练习题（过采样），然后筛选出那些既不太简单也不太困难的题目，最后按照难度合理排序进行训练。
在过采样阶段，系统会生成比实际需要更多的AI回应样本。接着，筛选阶段会剔除那些没有学习价值的样本，比如所有回应都错误的组合，或者所有回应都正确但使用工具次数相同的组合。最后，排序阶段会根据样本组内回应质量的差异程度来安排训练顺序，优先选择那些既有正确回应又有错误回应的组合进行训练。
这种策略有效地解决了传统强化学习中的几个关键问题。它避免了无效训练样本浪费计算资源，减少了正确回应被错误"惩罚"的情况，并且确保了训练过程的稳定性。
四、卓越的实验表现：在多项测试中刷新记录
研究团队对PyVision-RL框架进行了全面而严格的评估，测试范围覆盖了视觉搜索、多模态推理、智能推理和空间推理等多个领域。测试结果显示，这个框架在几乎所有任务上都取得了显著的性能提升。
在视觉搜索任务中，PyVision-Image的表现尤为出色。在V*基准测试中，它达到了88.7%的准确率，相比基础的Qwen2.5-VL-7B模型的78.5%提升了10.2个百分点。在HRBench-4K和HRBench-8K测试中，准确率分别达到了78.1%和74.3%，比基线模型分别提升了6.5%和6.4%。这些提升在AI领域是非常显著的，表明PyVision-Image确实学会了更精细、更有效的视觉分析策略。
多模态数学推理方面的表现更加令人印象深刻。在WeMath数学推理测试中，PyVision-Image的准确率达到47.7%，比之前最好的DeepEyes-v2模型提升了9.6个百分点。在DynaMath和MathVerse测试中，分别获得了4.4%和3.1%的提升。这些结果表明，AI不仅学会了基本的图像处理，还掌握了复杂的数学视觉推理能力。
视频处理方面，PyVision-Video在VSI-Bench空间推理测试中的整体表现达到44.0%，比基线模型的36.7%提升了7.3个百分点。更重要的是，它在计算效率方面的突破性表现：平均每个样本仅使用约5000个视觉token，而传统方法需要约45000个token，效率提升了9倍。
特别值得关注的是训练稳定性的改善。研究团队通过详细的训练动态分析发现，使用新的强化学习策略后，模型的工具使用次数在训练过程中持续增长，而不是像传统方法那样逐渐减少。同时，模型的准确率、响应长度和工具调用频次都呈现稳定的上升趋势，表明训练过程确实避免了"交互崩溃"问题。
在不同类型任务中，PyVision-Image展现出了令人印象深刻的工具使用多样性。在视觉搜索任务中，它主要使用裁剪工具进行精细定位；在数学推理任务中，它更多地运用数值分析工具；在需要智能推理的TIR-Bench测试中，它会使用更加多样化的工具组合，包括图像分割、标记渲染等高级功能。
五、技术细节：巧妙的设计让AI更聪明地学习
PyVision-RL框架的技术设计体现了多个巧妙的创新思想，这些看似复杂的技术细节实际上都围绕着一个核心目标：让AI学会像人类专家一样思考和行动。
在系统架构设计上，研究团队采用了一种类似"思考-行动-反思"的循环机制。AI会先进行自然语言推理，分析当前情况和需要解决的问题，然后生成相应的Python代码来执行具体操作，最后根据执行结果继续推理。这种设计让AI的工作过程变得透明可解释，就像能够看到专家的思考过程一样。
代码执行环境的设计也很有意思。系统为AI提供了一个安全的Python沙盒环境，AI可以在其中自由地编写和执行代码，处理图像和视频数据。执行结果会被包装在特殊的标签中反馈给AI，成为下一轮推理的输入。这种设计让AI能够真正"动手"操作，而不仅仅是"纸上谈兵"。
在模型训练方面，研究团队对传统的GRPO强化学习算法进行了关键改进。他们移除了标准差归一化项，这个看似简单的修改实际上显著提升了训练稳定性。同时，他们设计的累积工具奖励机制确保AI在获得正确答案的同时，也会因为使用工具的行为获得额外奖励，从而避免了训练过程中的"偷懒"趋势。
数据处理策略也体现了研究团队的深思熟虑。对于图像任务，他们收集了涵盖多模态推理、医学推理、图表理解和通用视觉问答等多个领域的训练数据。对于视频任务，他们专注于空间推理和长视频理解任务，确保模型能够学会处理各种复杂的视觉场景。
特别值得一提的是"按需上下文构建"技术的实现细节。在处理视频时，系统会将完整视频加载到Python运行环境中，但只在AI的推理上下文中包含系统提示信息。AI需要通过编写Python代码来主动采样和显示所需的视频帧。这种设计不仅大大减少了内存使用，还让AI学会了更加智能的视频分析策略。
六、深度分析：为什么这种方法如此有效
PyVision-RL框架之所以能够取得如此显著的效果，背后有着深层的技术原理和设计哲学。理解这些原理有助于我们更好地认识这项研究的价值和意义。
首先，动态工具使用策略相比静态工具集有着本质性的优势。传统的方法会给AI预设一些固定功能，比如"放大2倍"、"向左移动50像素"等。这就像给工匠一套固定的工具，无论遇到什么任务都只能使用这些工具。而PyVision-RL让AI学会了"制作工具"的能力，可以根据具体需求编写相应的处理代码。这种灵活性让AI能够应对各种意想不到的视觉挑战。
按需上下文构建技术解决了视频AI的一个根本性难题：信息选择的权衡。视频包含大量信息，全部处理会导致计算资源不足，选择性处理又可能遗漏重要信息。PyVision-Video的解决方案非常巧妙：它让AI自己学会判断什么时候需要什么信息，然后主动获取。这就像训练一个研究员不是给他一堆资料，而是教会他如何在图书馆中找到需要的资料。
强化学习策略的改进则针对了AI训练中的一个核心问题：如何平衡结果导向和过程导向。传统方法只关注最终答案的正确性，这容易导致AI学会"投机取巧"。新的累积工具奖励机制巧妙地将过程质量纳入评价体系，但又避免了过度激励无意义的工具使用。这种设计体现了对AI学习行为的深刻理解。
过采样-筛选-排序策略的有效性在于它模拟了优质教育的核心原则：因材施教。不同难度的问题对AI的学习价值是不同的。太简单的问题无法提供足够的学习信号，太难的问题可能导致训练不稳定。这个策略确保AI总是在适当的难度水平上进行学习，最大化学习效率。
从更深层次来看，PyVision-RL框架体现了从"被动感知"向"主动探索"的AI范式转变。传统的视觉AI更像是被动的观察者，只能分析给定的输入。而PyVision-RL训练出的AI更像是主动的探索者，会根据任务需求主动寻找和处理信息。这种主动性是实现真正智能行为的重要特征。
七、实际应用案例：从理论走向实践
为了更好地理解PyVision-RL的实际效果，研究团队提供了一些具体的应用案例，这些案例生动地展示了AI"动手"能力的价值。
在颜色识别任务中，当被问及"哪个圆圈颜色最深"时，PyVision-Image不会简单地给出一个主观判断。相反，它会首先放大显示原始图像，然后编写代码提取图像的像素数据，计算每个颜色通道的直方图分布，通过量化分析确定答案。这种方法将主观的视觉判断转化为客观的数据分析，大大提高了准确性。
在图像旋转任务中，面对一张被旋转的图片，PyVision-Image会先分析图像的整体特征，识别出可能的旋转角度，然后编写代码尝试不同的旋转修正，最终确定正确的旋转角度。这个过程展现了AI的假设检验能力，它不是随意猜测，而是通过系统性的尝试找到正确答案。
在视频分析任务中，PyVision-Video的表现同样令人印象深刻。当需要测量视频中桌子的尺寸时，它会首先均匀采样视频帧寻找桌子清楚可见的画面，然后识别场景中的参照物（比如椅子），基于常见家具的标准尺寸建立比例关系，最后通过像素测量和比例换算得出桌子的实际尺寸。整个过程体现了人类专家解决问题的逻辑：寻找线索、建立参照、量化分析。
在物体计数任务中，PyVision-Video展现了出色的时空推理能力。当被问及房间中有几张桌子时，它会系统地采样不同时间段的视频帧，识别不同角度和位置的桌子，通过分析桌子的外观特征、周围环境和空间位置关系，准确判断哪些是同一张桌子的不同视角，哪些是真正不同的桌子。
这些案例的共同特点是AI展现了类似人类专家的问题解决策略：系统性观察、假设形成、验证测试、逻辑推理。这种能力的获得不是通过简单的模式匹配，而是通过学习如何使用工具来深入分析问题。
八、技术突破的深远意义：重塑AI能力边界
PyVision-RL的成功不仅仅是在几个基准测试中取得了更好的分数，它更代表了AI能力发展的一个重要转折点。这项研究揭示了从"感知AI"向"行动AI"演进的可能路径。
传统的视觉AI主要专注于识别和理解，它们可以告诉你图片中有什么，但无法像人类一样对图像进行操作和分析。PyVision-RL打破了这个限制，让AI获得了"动手"的能力。这种能力的获得意味着AI可以不再局限于被动地接受和分析给定的信息，而是能够主动地探索、操作和验证。
在科学研究领域，这种能力具有巨大的应用潜力。比如在医学影像分析中，AI不仅能够识别病变，还能够自动调整图像参数、标注关键区域、进行定量测量，甚至生成详细的分析报告。在材料科学中，AI可以分析显微镜图像，自动识别材料结构特征，进行精确的尺寸测量和缺陷检测。
在教育技术方面，这种会"动手"的AI可以成为更好的教学助手。它不仅能够回答学生关于图表或图像的问题，还能够演示如何分析这些视觉材料，展示解决问题的具体步骤。这种互动性教学可以帮助学生更好地理解视觉分析的方法和逻辑。
从技术发展趋势来看，PyVision-RL代表了多模态AI发展的一个重要方向。随着AI系统变得越来越复杂，简单的输入-输出模式已经无法满足实际应用的需求。未来的AI需要具备持续交互、动态适应和主动探索的能力，而PyVision-RL在这些方面都提供了有价值的探索。
更深层次地看，这项研究还为解决AI训练中的一些根本性问题提供了新思路。"交互崩溃"现象不仅存在于视觉AI中，在其他需要多步推理的AI任务中也很常见。PyVision-RL提出的累积奖励机制和过采样训练策略可能为解决这类问题提供了通用的方法框架。
九、当前限制与未来展望：从实验室走向现实世界
尽管PyVision-RL取得了令人鼓舞的成果，但研究团队也坦诚地指出了当前方法的一些限制，以及未来需要解决的挑战。
首先是安全性考虑。由于PyVision-RL让AI能够执行Python代码，这就带来了潜在的安全风险。AI生成的代码可能会访问文件系统、网络资源或者执行其他可能有害的操作。虽然当前的实现使用了沙盒环境来限制代码执行的范围，但在实际部署时仍需要更加严格的安全控制机制。
计算资源需求是另一个需要考虑的因素。PyVision-RL的训练过程需要大量的计算资源，特别是在生成、执行和评估大量代码样本时。虽然按需上下文构建技术显著提高了推理时的效率，但训练阶段的资源需求仍然很高，这可能限制了该技术在资源受限环境中的应用。
泛化能力的评估还需要更多研究。当前的测试主要集中在相对标准化的学术基准上，真实世界的视觉任务往往更加复杂和多样化。AI是否能够在面对完全新颖的任务时仍然表现出色，还需要进一步验证。
从技术发展的角度来看，未来的改进方向包括几个方面。首先是提高代码生成的质量和效率，减少执行失败的情况。其次是开发更加智能的工具选择策略，让AI能够更准确地判断什么时候需要使用什么工具。第三是探索如何将这种动态工具使用能力扩展到其他模态，比如音频、文本或者多模态融合任务。
在应用层面，研究团队认为PyVision-RL技术最有希望首先在专业领域获得应用，比如科学研究、工程设计、医学诊断等需要精细视觉分析的场景。随着技术的成熟和安全机制的完善，这种会"动手"的AI有望逐步进入更广泛的应用场景。
长远来看，这项研究代表了向更加智能和自主的AI系统迈进的重要一步。未来的AI不仅要能够理解世界，还要能够在世界中行动。PyVision-RL在视觉领域的成功为这个目标提供了有价值的参考和启发。
说到底，PyVision-RL的意义远超出了在几个基准测试中的性能提升。它展示了一种让AI获得更加灵活和强大能力的可能路径，为构建真正智能的AI系统提供了重要的技术积累。虽然从实验室成果到实际应用还有不少路要走，但这项研究无疑为AI的未来发展指明了一个充满希望的方向。随着技术的不断完善和应用场景的拓展，我们有理由期待这种会"动手"的AI在不久的将来能够为人类生活带来更多便利和惊喜。
Q&A
Q1：PyVision-RL是什么？
A：PyVision-RL是一个让AI视觉模型学会"动手"的训练框架，由上海AI实验室等机构开发。它让AI不仅能看懂图像和视频，还能编写Python代码来处理、分析和操作视觉内容，就像给AI配备了一套万能工具箱。
Q2：PyVision-RL如何解决AI训练中的"懒惰"问题？
A：研究团队设计了累积工具奖励机制，当AI正确回答问题时，不仅因答案正确获得奖励，还会根据使用工具的次数获得额外奖励。同时采用过采样-筛选-排序策略，确保AI在适当难度的任务上学习，有效避免了传统训练中AI越来越不愿使用工具的问题。
Q3：PyVision-Video的按需上下文构建有什么优势？
A：传统方法会机械地从视频中均匀抽取帧数，而PyVision-Video会根据具体任务需求，主动编写代码抽取相关的视频片段进行分析。这种方法不仅更精准，还大大提高了效率——平均每个样本只需5000个视觉token，比传统方法的45000个token减少了9倍。
热门跟贴