今天的 Coding Agent（编码智能体）已经可以把一个想法写成代码、运行实验，再把结果送回来。
但在 Prana Labs 联合创始人朱毅看来，这条链路最难的部分，恰恰位于两端：一是开头能否提出一个此前没人做过、甚至有些离经叛道的想法；二则是结尾能否定义标准、检查结果，并为结果负责。
采访中，朱毅反复提及一个词：闭环。
如果按照模态排列，他过去十多年的经历似乎有过几次转向。他在加州大学默塞德分校读博时研究视频理解，包括人的动作、时序信息和异常事件；进入 Amazon AI 后，他与李沐、Alex Smola 等人合作，研究图像、视频、文本与 3D 表征，也接触企业级机器学习项目；共同创办 Boson AI 后，他把更多精力投入语音和角色模型；如今加入 Prana Labs，他要做的是能与数字或物理环境持续交互的多模态智能。
但朱毅不认为这些方向彼此割裂。视频让机器观察人的行动，语音让人与 Agent 更自然地交流，物理智能则要求模型理解行动的后果。它们最终都指向同一个问题：“更高的智能，可以为人做什么？”
此外，朱毅判断，多模态智能仍处在路线分散的早期阶段，但已经接近一次方法上的收敛，他认为时间点就在 2027 年前后。谈到这个判断时，他称它是自己的“暴论”；谈到高度真实的虚拟世界会怎样改变人与人的关系时，他却很谨慎：“没有经历之前，大家可能都不好说。”
确定与不确定同时存在。朱毅愿意给技术路线下注，却不急着替人类感受下结论。与其站在一旁猜测技术会走向哪里，他更愿意进入其中，尝试让它形成闭环，也让它最终对人有用。
以下是 DeepTech 与朱毅的对话：
开头和结尾，仍然要由人负责
DeepTech：如果先不介绍履历，过去三个月你关注最多的一件事会是什么？
朱毅：工作上主要是长程 Agent 任务环境的构建和记忆系统的设计。这两件事与最近讨论很多的 RSI（递归式自我改进）有关。
如果把自我改进拆开，大致是提出想法、实现、实验和评估四部分。现在实现和实验已经做得不错，最开始的想法和最后的评估仍然比较弱。长程环境和记忆系统，是为了把中间产生的反馈积累下来，让系统知道前面发生过什么、哪里做得不好，下一轮才有可能继续改进。
从个人兴趣出发，我更关心 Coding Agent 与多模态能力的融合。现在 Coding Agent 进展很快，感知和多模态智能相对落后。未来如果模型不仅能用语言创造一个视觉世界，还能感知、测试并修改这个世界，两者结合会很有意思。
DeepTech：AI 行业常问，Human in the Loop（人在回路中）什么时候可以消失。你的判断是什么？
朱毅：要分两种情况。对于可以自动化的工作流，我反而建议尽量创建一个没有人介入的闭环。
人手动做事会有偏见和疏漏，出了问题也未必留下完整记录。做成系统以后，每次运行的日志和反馈都能被保存，Agent 可以分析哪里做得好、哪里做得不好，再进一步优化。单点自动化带来的效率提升很有限，只有把不同工作流串起来，效率才可能大幅提升。
但至少在目前，人的动机和责任感很难被完全替代。研究一开始，要提出一个此前没人做过、甚至有些离经叛道的想法；最后又要决定用什么标准验收，结果是不是真的有价值。企业项目也一样：为什么启动，最后是否接受结果，这两件事都很难完全量化。动机让人把起点做好，责任感让人把终点收好。
DeepTech：所以你并不主张人一直留在每个步骤里，而是把人留在首尾？
朱毅：对。中间能自动化的部分应该尽量自动化，但更高层的目标和标准仍然需要人来定义。以前人写代码，后来可能只审查代码；如果 Agent 也能审查，人就转向系统架构和目标设计；如果这一层继续自动化，人还会去定义更高层的目标。
大多数工作最终可能都会被自动化，但过程会比较长。白领工作的主观任务难在动机和评估，物理世界的周期会更长。每一层被自动化，也会把人的工作推向更高一层。
DeepTech：什么事情应该先交给 AI？
朱毅：我的建议是，任何事情都先让 AI 试一次。
如果它能百分之百做好，就把流程封装成一个 Skill 或 Plugin，持续使用。如果做不好，也不要只得出“AI 不行”的结论。把过程和日志留下来，找到具体差距，再决定怎样改进。AI 不只是替你完成任务，也能帮助你看清自己的工作流。
从看懂一段视频，到理解行动的后果
DeepTech：从视频理解，到多模态、语音和角色模型，再到物理智能，看起来跨度很大。如果把过去十多年压缩成一个问题，你一直在探索什么？
朱毅：可以归结成一句话：更高的智能可以为人做什么？
读博时做视频理解，包括人的动作识别和更通用的视频理解，可以应用到安防、自动驾驶等场景。后来在 Amazon 做多模态，是想理解图片、视频、音频和文本之间的联系，学出更好的表征，带来新的研究和产品可能。
在 Boson AI 做语音，是因为语音会是人与 Agent、人与机器人之间最自然的交互方式。以后和机器人交流，不太可能一直打字，更多是直接开口说话。现在继续看 Physical AI，关注机器人如何与人互动，以及人在数字或物理世界里，怎样与其他人和 Agent 合作。这些方向负责不同的模态，但底层问题是连在一起的。
DeepTech：为什么接下来又把更多注意力放回视频？语音的上限到了吗？
朱毅：不是。语音、文本和视频并不是互相替代的方向。机器要理解语言，也要通过语音交互，还要看懂并预测环境。
我十多年前读博时就在做视频。视频里有时间、有动作，也有因果关系。以机器人场景为例，无论是遥操作数据、第一人称或第三人称视频，还是生成模型合成的环境，视频都不可或缺。
它也更难。对物理智能来说，看见只是开始，理解和预测才是更关键的问题。
DeepTech：一个杯子对语言模型是一个词；对物理智能，它意味着能拿、能装水，也会摔碎。哪一种更接近理解？
朱毅：对物理世界的理解，不能只来自观察。模型要知道，自己采取一个动作之后会发生什么。
现在大家使用很多名词：世界模型、具身智能、Physical AI、多模态智能。名称没有那么重要，而且也不光是一个模型的问题，而是一个系统的问题。真正关键的是，这个多模态智能的系统能不能像 Coding Agent 一样形成闭环：感知当前状态，制定计划，采取行动，验证结果，再根据反馈继续学习。
语言模型擅长处理人已经定义清楚的复杂任务，例如代码、数学或一部分知识工作。看、听、说，以及理解物体怎样运动，更接近人学习世界的方式。今天“多模态”和“智能”还没有真正连在一起；如果它们能结合，模型和 Agent 的 Scaling Law（规模定律）才可能延伸到数字和物理环境。
“有用”是输出，“疯狂”是输入
DeepTech：你早期做视频研究时，就很关注完整系统、速度和实际可用性。你判断一项技术有没有价值，最看重什么？
朱毅：我会看它是不是解决了一个足够大的现实问题，能给社会带来什么价值。
有些探索，比如去火星，即使时间很长，大家也认可它的价值，愿意投入资本和时间。但更多时候，实际可用性决定了技术的价值。早期做视频，安防和自动驾驶能影响很多人；后来在 Amazon，我们既做研究，也把机器学习服务带给企业用户。企业是真实能力的试金石，只有进入具体工作流，你才知道模型真正缺什么。
比如视频推荐，表面上是“猜你喜欢什么”，背后至少有两步：先把视频表示出来、找出候选内容，再对候选结果排序。每一步都要在精度、召回率、速度、表征大小和成本之间取舍。论文里的一个指标，不会替你完成这些系统选择。
DeepTech：这种务实的技术审美，会不会让你错过更疯狂的方向？
朱毅：我觉得这是两个层面。
我希望技术有真正的用处，说的是输出。为了让一个系统真正可用——速度快十倍、精度高十倍，或者整体性能发生本质变化——输入端反而需要更有想象力、更疯狂的想法。如果只是把别人的几个想法随机拼在一起，做“A+B+C”，通常很难获得数量级的提升。
所以，注重落地不代表放弃创意。恰恰因为对结果有要求，才需要新的方法。
DeepTech：你长期做开源、论文精读、课程和学习社区。为什么愿意投入这么多时间帮助别人理解？
朱毅：首先，它也帮助我自己理解。
做开源或技术视频时，经常会发现，你以为自己已经懂了，其实只是脑子里觉得懂了。真正去实现每一个环节，把所有地方摸清楚，再讲给别人听，才会发现很多逻辑原来没有串起来。
其次，AI 要进入各个行业，需要大量跨领域的人才。现在 Coding Agent 已经发展到这个程度，但多数人的生活和工作流并没有因此被彻底改变。技术铺开往往需要十年甚至更长时间，缺的不只是模型，也缺能把它带进具体场景的人。更多人通过开源、课程和社区快速学习，再去参与研究和应用，整个生态会发展得更快。
DeepTech：你的博士论文致谢里，专门提到导师 Shawn Newsam 教给你的两件事是 integrity 和 humility。为什么记住的是正直和谦逊？
朱毅：聪明、努力的人很多，正直和谦逊更难得。
我理解的正直很宽泛。至少在合作中，不能始终只考虑什么对自己最有利。在一家公司做事，也要为公司的使命、为共同目标服务。它不只是挑选长期合作伙伴的标准，也是衡量自己的标准。
企业不是模型的展示厅，而是试金石
DeepTech：你为什么把企业称为“试金石”？
朱毅：因为企业会验证一个模型是不是真的能落地、能不能创造经济价值，也会给出非常有效的反馈。
在 Amazon 时，我们既做 AI 研究和教育，也接触过 Prime Video 的推荐、内容审核，以及金融机构的多模态用例。进入企业以后，问题不再是模型在一个榜单上提高了多少，而是它能不能进入工作流，错误怎么处理，成本是否可以接受。很多 Agent 真正需要加强的能力，只有在那里才会暴露。
DeepTech：最近 FDE（Forward Deployed Engineer，前沿部署工程师）很受关注。为什么模型越来越强，部署模型的人反而更重要？
朱毅：我把 FDE 看成 AI Engineer （AI 工程师）的一种变体。只要 AI 还没有完全成熟，又要进入企业，就需要有人把这件事做扎实。
语言模型是概率系统，同一个问题运行很多次，不保证每次都给出完全一致的结果。消费产品偶尔不稳定，用户可能重试一次；但企业，尤其金融和支付场景，不能接受这种不可控性。
模型很难“裸着”就达到企业要求的可靠性。你必须理解用户环境，围绕具体工作流做定制，把模型、工具、数据、评估和异常处理组织成系统。只要公司想让 AI 真正进入企业，这类角色就会存在。
DeepTech：闭环在企业里具体意味着什么？
朱毅：不只是让 AI 完成一个单点任务，而是把不同工作流串起来，把每次运行的日志、错误和反馈留下，再利用这些信息改进系统。
如果只是自动化某一个步骤，其他环节仍然会成为瓶颈。真正的效率提升来自全流程，也来自系统能不能从自己的运行结果中继续学习。
多模态智能何时迎来爆发？
DeepTech：如果不用“文本、图像、音频”这些模态名词，你会怎样定义真正的多模态智能？
朱毅：五年前谈多模态，更多是输入和输出：模型能看图片、听音乐，或者生成视频。但现在我理解的多模态智能，不只是接入或者输出更多信息。我所希望的多模态智能是一个更大的系统，它不仅有多模态原生的模型去做思考和推理，包含视觉听觉触觉等。同时它还有 LLM 本身的强思考。最终会通过 Coding Agent 的 Orchestration（智能体协同调度）做到一个完整的多模态智能，能够兼顾交互，智能和效率。
同时，这样的多模态智能系统也需要进入一个环境，采取行动，获得反馈，再做预测和下一步行动。这个环境可以是物理世界，也可以是完全虚拟的数字世界。关键不是它拥有多少种传感器，而是能否形成从感知、计划、行动到验证的高维闭环，并在交互中持续学习。
DeepTech：这个方向现在到了什么阶段？
朱毅：还很早期。早期的一个特征，就是路线特别多：有人从表征学习出发，有人从 3D 世界出发，有人从机器人本体出发，也有人用第一人称视频训练基础模型。
路线多说明问题还没有收敛，但它们也不是完全互斥的。大家会互相借鉴，把有效的方法吸收进来。等到模型、算法或方法论逐渐收敛，行业才会真正进入 Scaling 阶段：扩展数据、环境和模型，经历类似语言模型从早期探索走向 GPT-1、GPT-2、GPT-3 的过程。
DeepTech：你把收敛的时间放在 2027 年前后。为什么敢给出这么具体的判断？
朱毅：这是一个比较“暴论”的外推，不是精确预测。
回看图像、语言和语音等领域，从开山工作到下一个定性的里程碑，通常是两三年的尺度。投入可以指数增长，但问题难度也在增长，真正的跃迁仍然需要时间。过去几年多模态已经积累了很多工作，资金、公司和人才也开始集中，所以我认为经过一两年的迭代，可能会出现一次比较大的统一，随后开始更大规模的尝试。
另外李飞飞老师的World Labs最近也发了一篇文章，叫A Functional Taxonomy of World Models，里面定义了现在World Model （世界模型）的三个路径，分别是Renderer（渲染器，负责生成“你看到什么”），Simulator（模拟器，负责还原“世界实际上如何运转”）和Planner（规划器，负责决定“下一步该做什么”）。文章最后也说这三个路径之间的界限正在消融，很快会形成一个更大更清晰的方向。所以我还是很乐观的。
DeepTech：方法统一以后，最重要的变化是什么？
朱毅：第一是 Scaling Law 可以继续发挥作用，训练更大的模型，利用更多、更丰富的数据。更重要的是，模型有了与环境交互的方式，就可能在推理时继续学习。
它采取行动、得到反馈、修正预测，在一个很长的上下文里不断改进。今天的模型大多在训练结束后被冻结；如果它能够在交互中持续学习，智能才真正从“处理输入”走向“积累经验”。
DeepTech：你之前用《西部世界》打比方，机器可以看、听、行动以后，硅基智能和人还会有清晰界限吗？
朱毅：很难说。也许人进入高度真实的虚拟世界后，会更珍惜和真人相处；也可能逐渐觉得真人与虚拟角色没有区别。没有亲身经历之前，很难判断人会怎样感受。
我只是觉得这个方向令人激动，也值得研究。技术的发展很难停下来。AI 的车轮已经向前走了，与其假设它不会发生，不如进入其中，理解它、影响它。
加入 Prana，把环境变成模型的老师
DeepTech：为什么决定加入 Prana Labs、成为联合创始人？
朱毅：我和 Jason（Prana Labs 创始人）认识很久，过去一直有交流和合作。我们有几个共同判断：多模态智能是进一步提升通用智能的重要模块；算法和模型可能在未来 12 到 18 个月出现一次大的收敛；利用 Coding Agent 与其他自研技术的耦合来构建环境、生成合成数据，会成为未来训练多模态模型的重要部分。
这些判断比较接近。对我个人来说，视觉、多模态、文本和语音已经做了十多年，我也希望继续在多模态智能上积累，做一些真正有用的贡献。
DeepTech：你怎样理解 Prana Labs 的使命？
朱毅：最终是做多模态智能。只有把智能带进数字和物理世界，AI 才能解锁更多能力，服务更多人。
你去问很多非 AI 从业者，希望 AI 帮你做什么，很多人的回答不是“替我完成办公室工作”，而是帮我叠衣服、洗碗、做家务，或者帮我做一些创意和娱乐。今天 AI 的能力看起来很强，但仍然是一个把智力转化成智力的过程（比如文本和代码都已经是人类智慧的结晶了）。而如何触及智能的核心，还没人给出答案。这正是我们最感兴趣的问题。
我们希望构建一种可学习的闭环：AI 能理解当前状态，不断采取行动、做实验、获得观测，环境本身也能持续演化，再帮助 Agent 预测下一步。Prana 主要想做的，就是环境，以及建立在环境上的学习闭环。
DeepTech：为什么环境会成为下一阶段的关键？
朱毅：因为环境不只提供输入，也提供反馈。模型做了一个动作，世界发生变化，这个变化会告诉它原来的判断对不对。
通过将 Coding Agent 与自研 3D 图形技术结合起来，规模化构建可交互的合成环境，多模态模型就有更多地方去行动、测试和学习。当然，这里不光需要 Real-to-Sim（将真实世界映射到模拟环境），也需要 Real-to-Sim-to-Real（从真实世界进入模拟环境，再将模拟结果反馈、应用到真实世界）。
只不过物理世界的反馈更慢，也更难拿到；但逻辑相同：智能不是把世界描述得更像，而是在一次次行动和验证中理解它。
DeepTech：在实现公司目标之外，你个人最想完成什么？
朱毅：我最感兴趣的，还是让多模态和智能真正结合。
计算机视觉、自然语言和语音过去一直在螺旋上升、互相借鉴。我们距离更高水平的智能，可能还需要两三次类似 Transformer 的关键突破。我认为其中至少有一次，会来自多模态模型和算法的统一。
我想做的，就是让模型从“看见世界”，走到“在世界里学习”。
参考资料：
https://bryanyzhu.github.io/
热门跟贴