丛乐/王梦迪团队推出AI协作科学家，实时指导和纠正实验操作，让小白秒变实验高手|丛乐|人工智能|实验操作|智能体|王梦迪|顶尖科学家协会奖

撰文丨王聪

编辑丨王多鱼

排版丨水成文

在科学研究的道路上，计算与实验如同双翼，共同推动着人类认知边界的扩展。然而，计算虽能高速模拟与预测，但实验却仍是瓶颈——操作依赖人力、细节易出错、技能难传承。

有没有一种方法，能让 AI 不仅“想”得到，还能“看”得见、“做”得成？

现在，来自斯坦福大学和普林斯顿大学的华人团队给出了答案——将人工智能（AI）与扩展现实（XR）技术结合，打造出了一个能真正与人类科学家（Human Scientist）携手工作的“Al 协作科学家”（AI Co-Scientist）。

该研究以：LabOS: The AI-XR Co-Scientist That Sees and Works With Humans 为题，发表在了预印本平台 arXiv 上，斯坦福大学丛乐教授和普林斯顿大学王梦迪教授为论文共同通讯作者。

该研究开发了一个Al-XR Co-Scientist——LabOS，这是一个融合了人工智能（AI）与扩展现实（XR）的前沿科研协作平台，旨在通过智能感知与虚实交互技术，重新定义科学研究的边界，让 AI 真正“看见”并与人类科学家协作。

LabOS是首个将计算推理与真实实验相结合的AI 协作科学家（AI Co-Scientist），它通过多模态感知、自进化 AI 智能体以及XR 支持的人机协作来实现这一目标。

通过连接多模态 AI 智能体、智能眼镜和人机协作，LabOS 使 AI 能够“看见”人类科学家所看到的内容，理解实验背景，并在实验操作过程中实时提供协助。在从癌症免疫疗法靶点发现到干细胞工程等各类应用中，LabOS 展示了 AI 能够超越计算设计，实现参与，将真实实验室转变为一个人类和机器发现共同演进的智能协作空间。

什么是 LabOS？——从“思考”到“动手”的全能助手

LabOS不是简单的自动化工具，而是一个融合多模态感知、自进化 AI 智能体与 XR 交互的智能平台。其核心由四类 AI 智能体组成：

规划智能体：将科学目标分解为可执行的模块；
开发智能体：生成代码并执行复杂分析；
批评智能体：评估结果并优化流程；
工具创建智能体：从文献与数据中自主扩展工具库。

LabOS：科学实验室中的人类-AI 多模态协作

这一架构使 LabOS 能自主完成从假设生成、实验设计到数据分析的完整科研流程，并通过持续学习不断进化。在生物医学推理基准测试中，LabOS 在人类的最后考试：生物医学（Humanity’s Last Exam: Biomedicine）中达到了 32% 的准确率，在 LAB-Bench: DBQA 中达到了 61% 的准确率，领先现有模型达 8%，且性能随使用时间提升。

让 AI “看见”实验室——视觉语言模型的突破

实验室环境的复杂性，对 AI 的视觉理解提出了极高要求。例如，如何判断操作是否无菌？步骤是否合规？为此，团队构建了 LabSuperVision（LSV）基准——包含 200 多个真实实验视频，由专家标注步骤、错误与参数。测试发现，即使顶尖 AI 模型（例如 Gemini、GPT-4o）在协议对齐与错误识别任务中得分仅 2-3 分（满分 5 分），远未达到实用水平。

研究团队以此为基础训练了LabOS-VLM，通过监督微调与强化学习，使模型能精准解析实验视频。例如，在 CRISPR 基因编辑实验中，它能实时识别操作错误（例如试剂孵育时间偏差），并生成步骤指导。LabOS-VLM-235B 版本在错误检测中准确率超 90%，成为实验室视觉推理的可靠“眼睛”。

LabOS-VLM 用于实验室视觉推理

XR 眼镜：人类-AI 协作的“桥梁”

LabOS 的湿实验模块通过扩展现实（XR）眼镜实现与人类科学家的无缝交互。研究人员佩戴轻量级 AR 眼镜，实时传输第一视角视频至 AI 服务器。AI 每 5-10 秒分析视频片段，返回结构化指令：

步骤指导：在显示屏上渲染协议步骤；
错误提示：检测到偏差（例如无菌操作失误）时立即告警；
手势交互：支持语音与手势控制，避免污染。

同时，系统通过多视角相机与高斯泼溅算法构建实验室的 3D/4D 数字孪生，支持场景回放与模拟训练。这一设计不仅提升操作精度，还将专家经验数字化，助力技能传承。

基于 XR 眼镜的 LabOS 实现了真实实验室中基于空间的人类-AI 协作

实战验证：从靶点发现到干细胞工程

LabOS在三大生物医学场景中展现了其价值：

癌症免疫治疗靶点发现：LabOS 分析了 CRISPR 激活筛选数据，通过多步推理将 CEACAM6 从低优先级基因提升为 NK 细胞抗肿瘤的关键靶点，并自动关联 TCGA 患者数据验证其临床意义。湿实验证实，CEACAM6 的激活，显著增强了肿瘤对 NK 杀伤的抵抗。

细胞融合机制研究：AI 智能体提出，ITSN1 为细胞融合调控因子，研究团队通过 CRISPR 干扰实验验证了其功能，展示了 LabOS 从假设生成到湿实验验证的闭环能力。

干细胞工程指导：在 iPSC 的基因编辑与慢病毒转导实验中，LabOS 通过 XR 眼镜实时指导操作，记录专家流程，并辅助新手规避常见错误，实现“AI 导师”功能。

LabOS 展示了 AI Co-Scientist 的潜力：它是一个能观察、推理并协助实验室运作的系统。通过将 AI 智能体与实时的、XR 引导的人机交互以及数据驱动的推理相结合，它能够加快发现速度、实现可重复训练以及精确操作。在各种应用场景中——包括假设生成、自动化文档记录、错误纠正、快速技能转移、iPSC 实验指导以及对 NK 细胞-肿瘤通路和细胞融合调控因子的洞察——LabOS 将实验室转变为一个适应性强、协作性高的工作空间，让人类科学家与 AI Co-Scientist 并肩工作，共同加速发现进程、生成可复现的科学成果，并共同进步。

未来展望：科学发现的“共进化”

LabOS 的诞生标志着实验室进入人机协作的新纪元。它不仅加速发现进程，更通过标准化记录与实时反馈，提升研究的可重复性。未来，随着 AI 与 XR 技术的深度融合，LabOS 有望成为每个实验室的“标准配置”，让人类直觉与机器共进化，共同拓展科学边界。

LabOS 不是取代科学家，而是成为人类科学家的“同事”。当 AI 能看见我们的所见、理解我们的动作、并从中学习，实验室将不再只是摆满科学仪器的房间，而是一个充满智能的探索空间。