一个指令,从 12,4 87 张 CT 图像里重建出三维骨骼模型。Sage S2.1 Flash 的做法并不玄:先找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,把立体可见的骨骼模型建出来。
近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学院自动化研究所、华东师范大学、哈尔滨工业大学、北京大学等多家科研机构与高校,正式发布 Sage S2.1 Flash 技术报告。报告系统披露了这一总参数量达 320B 的混合专家(Mixture-of-Experts,MoE)模型的完整训练流程与技术细节。
读懂分子和光谱、接连调用工具、在专业软件中交付作品,这几项本领如今集中在了同一个模型身上。上线首周,多名体验者评价它“快且聪明”,在多轮任务测试中感受到流畅的工具调用体验;在更贴近实际开发的场景中,模型也能承担完整的任务执行。
统一架构:让模型直接理解科学数据
Sage S2.1 Flash 采用 320B 混合专家架构,通过动态专家路由控制推理计算量,并结合稀疏注意力与线性注意力支持长上下文处理。模型主干能够在共享上下文中处理文本、图像和科学数据表示,为复杂推理与多步骤任务执行提供基础。
针对分子、蛋白质、核酸及光谱等科学数据,研究团队设计了 Sage Sci-Perception 科学多模态感知模块,采用 MoleculeSTM(分子结构)、ESM-2(蛋白质序列)、DNABERT-2(DNA)、RNA-FM(RNA)、DiffSpectra(光谱数据)等专用编码与表示方法,提取原子连接、序列依赖及连续测量信号等特征,并通过可训练的模态投影器映射至语言模型的统一表示空间。
训练阶段结合监督学习与强化学习,构建分子性质分类、蛋白质相互作用位点预测、原子计数及结构关系查询等可验证任务,利用分类准确性、集合重叠度和数值误差等指标提供奖励信号。
可验证环境:把工具调用练成肌肉记忆
为提升模型在复杂任务中的自主执行能力,研究团队构建了覆盖工具调用、信息检索、软件工程、机器学习实验、网络安全、专业工作空间和视觉交互的可验证训练环境,并通过独立的科学强化学习机制优化科学多模态理解能力。
在工具调用训练中,ToolSpace 框架从 MCP 工具服务与真实智能体轨迹中提取工具定义、调用参数及执行结果,构建涵盖数据传递、环境状态变化和失败恢复关系的工具组合图。基于状态感知随机游走,系统自动生成跨工具、跨环境的调用序列,并通过执行条件检查、失败回滚与重新采样确保序列可执行。
最终构建的工具协作空间覆盖 2,042 种工具、77,760 个调用模式节点和 804 个环境,生成的监督微调轨迹平均包含 18.86 次工具调用,最长达 209 次,平均跨越 2.29 个环境。
机器学习工程方面,训练流水线整合了 4,936 条 Kaggle 数据来源、2,960 篇研究论文,以及 Hugging Face、GitHub 等平台的代码与数据资源。系统通过移除损失函数、特征变换或参数更新等核心代码,构建需要模型自主补全的算法任务;对于开放式实验,则要求智能体自行设计方案并执行训练。所有任务通过 Harbor 封装为可复现环境,将任务指令、执行环境与私有评测程序隔离。
视觉智能体采用分阶段训练:第一阶段用图像识别和单步点击任务,训练模型理解界面元素、定位交互目标;第二阶段扩展到连续操作任务,模型需要在每一步读取当前界面、判断任务进展、执行操作,并根据新的截图决定下一步动作。
33 项基准:四项第一,四个第二
研究团队在智能体编程、办公生产力、工具使用、机器学习工程、深度研究、信息检索和视觉交互七大领域开展了 33 项基准评测。
- 机器学习工程任务 MLE-bench Lite:90.3 HumanRank,主要对比模型中位列第一
- OfficeQA Pro:72.2,第一
- Harvey LAB:25.0,第一
- SpreadsheetBench 2:37.1,第一
- PostTrainBench:39.2,第二
- PaperBench:88.0,第二
- 桌面操作评测 OSWorld-Verified:85.2,第二
- 网页交互评测 WebArena-Verified:67.6,第二
面向真实科研软件,研究团队进一步展示了三维工程设计、科学数据分析和科研文献研究中的应用。在工程建模任务中,模型根据图像和设计要求操作 Blender 与 CAD 软件,构建建筑、涡扇发动机和卡车底盘等三维模型,生成能够进一步编辑和检查的工程文件。
在科学软件分析任务中,模型使用 Fiji、EEGLAB 和 QGIS 等专业工具完成显微图像处理、脑电信号分析和遥感数据对比。在科学深度研究案例中,模型围绕光学量子存储问题开展文献检索、实验参数提取、模拟计算与可视化,并生成可交互的研究应用。
从 12,4 87 张 CT 图像到可编辑的三维骨骼模型,这条链路串起的是感知、工具调用与专业软件操作三件事。通往通用科学智能体的道路才刚刚铺开,而每一次向真实世界的迈步,都在把模型从书斋推向科学现场。
热门跟贴