一个AI智能体，单次实验要烧掉20,864个H100小时。这不是某家大模型公司的训练账单，而是一道"考题"的运行成本。
近日，OpenRSI Index在X上引发关注。截至目前，项目发布帖已有超过13.3万次浏览，相关话题出现在X的Today's News栏目中。它想回答的问题很直接：科研智能体能否在明确的实验边界下，改进人类设计的模型训练方案，发现更好的方法？
随着大语言模型在部分评测基准上接近饱和，前沿科研人员面临一个越来越难以回避的问题：榜单上的进步，能在多大程度上转化为真实研究中的进展？刷榜不等价于有效科研，而单纯跑通一个任务，更不等价于持续推进研究的能力。
三道题，覆盖预训练到图像生成
OpenRSI Index从真实世界中有影响力的开源研究项目出题，将已有的模型、代码、数据和训练方案交给智能体，让它在这些成果之上继续改进。Marin、Qwen、GPIC等项目因此成为科研智能体的考题，覆盖预训练、后训练与图像生成。
这些任务需要真正运行模型训练实验，算力投入也随之进入数千至上万H100・小时的规模。官网展示的三个代表任务分别是：
- 预训练：改进Marin的优化器。Marin-Scaling-Ladder基于Marin开源基础模型研发项目，要求智能体将同一套优化器规则用于六档模型，覆盖5.5亿至25.45亿参数，检验一种方法能否在模型规模变化后继续有效。官网标注单次运行规模为18,432 H100・小时。
- 后训练：为Qwen设计更好的强化学习任务。Qwen-122B-RL-Merge让智能体生成可验证的训练任务，改善Qwen模型在数学、代码等多个领域的表现。单次运行规模约为20,864 H100・小时。
- 视觉生成：从GPIC数据中学到更好的生成方法。智能体从共享模型检查点出发，探索架构、训练目标或训练方案的改进；每个候选方案对同一千万张图像最多再训练一遍。单次运行规模为5,815 H100・小时。
三个任务放在一起，分别对应三个问题：方法能不能跨尺度成立？Agent会不会根据反馈组织实验？一次改进能不能被清楚归因？
任务也覆盖新兴开源研究。例如，Open-Jev对应的Kev决策架构任务，让智能体改进直接输出决策概率的小模型，探索决策结构与训练方法。公开任务还涉及机器人、检索、推理与底层系统优化。
独立验收，回应科研领域的"猜疑链"
做过严谨实验的研究员都有过这种体会：测试分数上涨并非研究的终点。是否因为调参暗合了测试集的分布？是否巧合放大了微小的扰动？如果重新验收，这次改动还能否复现？
数据污染、测试关联性与不可复现的实验，是评估模型"自我改进"时无法绕开的问题。所以，一个关键原则就是：AI的实验工作区与最终验收环境相互隔离。
在OpenRSI Index中，每一项任务都有清晰的资源与代码边界：哪些模块允许修改，可以调用多少资源，最终按照什么环境验收。原作者发布的方案会在同一任务环境中重跑，作为对照。提交时，系统暂停工作区并保存快照，交由新启动的干净评测环境打分。私有测试不会交给执行研究的AI，评测环境中的文件变化也不会带回工作区，但评分与规定的反馈会返回。如有篡改奖励路径、泄露评测信息、超出预算等硬性违规，则按规则计零分。
这套机制实际上包含两个循环。内循环是研究循环：Agent在持续存在的workspace中修改代码、运行实验，根据反馈继续研究。外循环是验证循环：每次正式提交都会冻结为snapshot，再交给一个新启动的独立Judge重新验收。
在这套运行机制下，OpenRSI Index并不要求Agent"一次性给出正确答案"。它允许Agent反复试错。但每一次声称取得进步，都必须满足一个条件：不仅要在自己的实验记录里变好，还要在一个自己无法控制的环境中继续成立。
明确的约束与独立验收，为结果提供了可检查的基础。一次有效提交究竟能够说明什么，仍然取决于具体任务、预算和评价标准。但方法的可验证性和结果的可追溯性，让研究人员至少有了更具体的依据去回答：我引用的工作，本身是否真正可信？
导师阵容与一小时出题
OpenRSI Index的导师阵容汇集了来自多个研究方向的学者。Luke Zettlemoyer来自华盛顿大学，是RoBERTa、BART与Toolformer的共同作者，研究从语言模型预训练延伸到模型自主学习使用工具。Karthik Narasimhan来自普林斯顿大学，是初代GPT论文的四位作者之一，也是ReAct、SWE-bench与SWE-agent的共同作者。Yejin Choi来自斯坦福大学，代表作包括常识推理基准HellaSwag、常识知识库ATOMIC和知识生成模型COMET。Dawn Song来自加州大学伯克利分校，是MMLU、MATH等经典评测基准的共同作者，并参与Agents' Last Exam（ALE）、CyberGym与ExploitGym。
顾问阵容还包括Wenhu Chen、Alvin Cheung、Jianfeng Gao、Pang Wei Koh、Ranjay Krishna、Hanqing Lu、Kunle Olukotun、Rameswar Panda、Radha Poovendran、Yu Su、Huan Sun、Diyi Yang、Ming-Hsuan Yang、Xiang Yue、Jian Zhang和Yu Zhang，覆盖语言、多模态、系统与安全等研究方向。
那么下一个问题就是：谁来决定科研Agent应该研究什么？OpenRSI Index给出的答案是让真正做这些研究的人来出题。通过RSI-Anything，研究者可以把自己开放研究工作逐步整理成Agent可以执行的研究任务。根据项目介绍，通过RSI-Anything与AI对话、确认关键设置，研究者可在约一小时内把自己的课题转化为可运行的RSI任务环境。AI会自动整理提案、构建环境，帮助科研工作者为OpenRSI-Index贡献新的研究任务。后续实验与复现仍需相应的时间和算力；任务经审阅、复现并被接纳后，贡献者会获邀成为共同作者。
团队相信，研究是一场正和博弈。通过开放共享研究方法、工具与实验基础设施，更多科研工作者能够检验、复用彼此的成果，并提出新的、有品味的问题。OpenRSI Index将任务、评测框架、验证工具与运行轨迹公开：有算力的团队，可以复用这套基准环境，检验已有结果，并继续探索新的研究问题；缺乏大型集群的小团队和个人研究者，可以看到AI改了什么、哪里失败、哪些方向尚未走通，把已有记录作为下一次尝试的起点。
一次失败不足以证明一个方向无法跑通；但完整的实验记录能帮助后来者判断哪些条件值得改变、哪些尝试值得继续，让品味引导试错，真正提升AI做科研的能力。社区也在寻找算力伙伴，以及基础模型、生物医药、法律、3D视觉、科学计算等领域的负责人和贡献者。让更多研究者把真正的问题带进来，让成功、失败和中间过程都可以被检查、复用和继续推进——让RSI属于所有人，让所有人参与RSI评价标准的建设，正是OpenRSI Index团队所强调的：From the community, for the community。
热门跟贴