打开网易新闻 查看精彩图片

把互联网视频,炼成 3D 训练数据,红杉、顺为都投了。 作者:张进 编辑:林觉民

2024 年,李飞飞第一次把「空间智能」重塑成 AI 赛道的核心方式并公开宣讲这套理念,在这之前,章国锋和几位同事提出了 SLAM 2.0 的概念:不再局限于跟踪定位,还融合了语义分割等理解能力,并是任务驱动式的。

「空间智能」的提出打开了更大想象空间——传统的 SLAM 并不需要拿数据训练,但鲁棒性一直是个很大的挑战,生成式 AI 起来后,三维重建跟生成合流,使得没拍到的部分能够预测生成,分辨率也能增强。

正如李飞飞一直强调的,三维重建跟生成的结合是计算机视觉领域的一个重要时刻。章国锋在 ChatGPT 出来后便意识到 3D 生成模型一定也会起来,「这是一个机会」——意味着空间智能的发展路径以及落地前景变得清晰。

那时他在商汤科技兼职担任数字空间事业群首席科学家,核心工作是推动三维视觉与增强现实技术的产品化落地,同时也在支持自动驾驶和机器人业务,他告诉当时的同事也是他的学生刘浩敏博士,「一定要转去做 3D 生成」。

2024 年 2 月,Sora 发布,惊艳的视频生成能力让章国锋看到了生成式 AI 的潜力,但也发现了它最大的 bug——Sora 没能解决时空一致性的问题。

这让他意识到 3D 表征的必要性,「只有 3D 表征才能从根本上解决时空一致性的难题」。这也是他创业后坚定走原生 3D 路线的原因。

两个月后,李飞飞创办了空间智能公司World Labs,获得超 2.3 亿美元融资,创造了成立即独角兽的神话。章国锋坦言,World Labs 的成立加速了他创业的进程。

一番深思熟虑,同年年底,章国锋终于决心创业。经过半年的准备工作,2025 年 7 月,团队从商汤独立拆分出来,成立了通用空间智能基础模型公司「影溯」,寓意「追溯视觉的本源」。

迄今,影溯(InSpatio)已经成立一年多,模型、产品、商业化同步进行:不仅发布了多个 3D 世界模型并开源(InSpatio-World、Topos、InSpatio-Curious),还研发了一款免费的 App Crystal 空间相机,并在具身、数字内容等领域开始推进商业化。

拥有「硬核配置」的团队背景及模型成果,使得影溯在八个月时间里完成了多轮融资,获得红杉中国、光合创投、顺为资本、祥峰投资、招商局创投等多方头部机构押注。

章国锋在空间计算领域拥有 20 多年的研究经历,其学术生涯与浙江大学 CAD&CG 全国重点实验室紧密相连:2009 年获浙江大学计算机应用专业博士学位,师从鲍虎军教授。随后继续在浙大做博士后研究,出站后后留校任教,现任浙江大学求是特聘教授。

打开网易新闻 查看精彩图片

章国锋

其研究方向经历了从三维视觉与增强现实,向空间智能与3D世界模型的演进,是国内视觉 SLAM 领域的代表性学者之一。期间在商汤兼任一事业群的首席科学家,主导研发的 SenseMARS 混合现实平台,据公开信息,该平台在 200 多个移动应用中使用。

影溯的班底属于「顶配」,由浙江大学计算机辅助设计与图形系统全国重点实验室(图形学领域全球排名第三,仅次于斯坦福和 MIT)与原商汤科技 3D 视觉与混合现实团队的专家组成。联合创始人刘浩敏博士毕业后历经百度、商汤,主导了 StarGen(解决了场景视频生成领域一个公认的难题:长距离、大范围场景生成的时空一致性问题),该项工作被 CVPR 2025 接收。

首席科学家鲍虎军教授是中国计算机图形学与虚拟现实领域的领军学者,也是章国锋的硕士、博士导师。这两人跟章国锋长期合作,建立了高度默契。

打开网易新闻 查看精彩图片

(从左至右依次为鲍虎军、章国锋、刘浩敏,以及团队荣获了ISMAR 2026,国际混合与增强现实研讨会的Paper Impact Award(论文影响力奖)的《Robust Monocular SLAM in Dynamic Environments》论文合作者董子龙博士。)

影溯坚持原生 3D 路线,因为「只有 3D 才能解决空间生成中的时空一致性问题」。他们的思路是把互联网上的海量2D 视频数据转换为 3D 数据,以此解决 3D 数据匮乏的问题。

目前,他们已经验证了将单目视频转换成3D动态场景的可行性,这无论在学术界还是工业界都是一个公认的难题,「预计年底可以做到能够支持 360 度漫游的完整3D场景生成」。章国锋断言未来「3D 世界模型之争其实是数据之争」。

对于实现物理 AI 的道路上空间智能是否必要的质疑,他称,空间不是世界的普通组成部分,而是底座,是语言、时序、因果、规则得以锚定的坐标系。

「完全靠语言、不去理解空间就能实现物理 AI,我不认同。」

以下是雷峰网左林右狸频道近日跟章国锋的对话,经过编辑整理:

01 实验室第一批做计算机视觉的人

左林右狸频道:2003 年,你进入鲍虎军老师课题组读研,最初从研究摄像机的跟踪问题入手,当时为什么选择这个方向?

章国锋:这带有一定偶然性,但现在回想起来,可能冥冥之中有注定。鲍老师当时有个 973 项目「虚拟现实」刚开始,我正好进去读研,摄像机跟踪是研究虚拟现实的关键技术之一。那时我们实验室(浙江大学计算机辅助设计与图形系统全国重点实验室)几乎没有做计算机视觉方向,所以我算是第一批做计算机视觉的研究生。

左林右狸频道:你从 2003 年进入鲍老师团队研究摄像机跟踪问题,那时计算机视觉不如图形学影响力大,一直到 2015 年左右,商汤、旷视这一批 AI 四小龙起来了,计算机视觉开始商业化,这十年间发生了什么?

章国锋:主要是因为深度学习起来了。原来计算机视觉的算法在鲁棒性等各方面都成问题,图形学还好,它是正向建模渲染,在影视、游戏等工业上已经大面积应用。深度学习起来后,计算机视觉在人脸识别的准确度等方面率先取得突破,催生了商汤那一批创业公司。

左林右狸频道:2009 年你开始研究SLAM(同步定位与建图),业界更多知道你也是因为 SLAM,SLAM这些年经历了怎样的变化?

章国锋:我 2003 年读研进入 CAD&CG 实验室,开始做 3D 跟踪与三维重建;2009 年开始做 SLAM,那时深度学习刚起来,SLAM 在自动驾驶、VR 这些领域的需求很大。大模型起来后,像端到端的方法越来越流行,对传统的 SLAM 产生了较大的冲击。

我们把传统的 SLAM 叫 SLAM 1.0,后来我跟几位老师也提出了 SLAM 2.0 的概念,2.0 不只局限于跟踪定位,还要融合对空间的理解,包括语义分割这些功能,而且是任务驱动的。「空间智能」这个概念火起来后,我们觉得非常贴合 AI 时代的发展。

打开网易新闻 查看精彩图片

(正中间身着藏青色衬衣为章国锋)

左林右狸频道:大模型爆火后对空间计算有什么具体影响?

章国锋:传统的 SLAM 重建属于空间计算,大模型时代我觉得用空间智能来描述更合适。传统的空间计算例如 SLAM,并不需要拿数据训练,但鲁棒性一直是个很大的挑战,比如三维重建对拍摄要求很高,以前大厂也尝试做三维重建,但随意拍的照片可能根本没法重建或者没拍到的部分就重建不出来,这些都极大地影响其应用落地。

生成式 AI 起来后,重建跟生成得以结合,便很好地解决了拍摄复杂的问题,例如没拍到的部分可以预测生成。李飞飞就一直强调重建跟生成的结合是计算机视觉领域的一个重要时刻,当时我们也是认识到了这是一个机会,可以说空间智能的发展路径以及落地前景已经比较清楚了。

左林右狸频道:像 VGGT 这些工作使得重建如此方便,直接端到端,那么现在做世界模型,过去在三维重建领域的经验是不是没什么用处了?

章国锋:并不是这样。VGGT 这样的方法确实能够解决过去很难解决的问题,但也不是完美的,例如在精度上可能不如传统方法,而且支持大规模数据的重建也有问题,所以在落地上目前还是多方结合的形式。

去年我们有篇 CVPR 的工作 StarGen,把重建跟生成结合,实现了时空一致性较高的长视频生成。传统视频复杂度是 O(N²),即如果一次性生成的帧数过度,计算量和显存随帧数的平方增长,但如果不能一次性生成过长,视频的时空一致性就难解决。StarGen 就很好解决了时空一致性,过去也有其他的工作,像 ViewCrafter 直接把重建的点云投影过来引导视频的生成,但问题是重建的点云投影过来会有误差,一旦误差积累过大,提供的约束反而成为错误的,会造成更大的问题。

由于我们做了多年 SLAM,一眼就看出了 ViewCrafter 这种方案的问题,才会想到说怎么基于关键帧优化的方法把误差积累给控制住。这是我们的优势,在大模型时代,一个看似新的问题,基于过去的经验我们可以快速找到一个行之有效的方法,这是经验提供的一个效率的优势。

左林右狸频道:3D 重建跟生成合流是怎么发生的?

章国锋:最初 ChatGPT 出来时,我就已经意识到 3D 大模型会起来,当时我在商汤带团队,就跟刘浩敏博士(也就是影溯现在的联创)讲,一定要转向去做 3D 生成。当时还考虑到底做 3D 物体的生成,还是 3D 场景的生成,后来我们觉得 3D 场景生成的天花板更高一些。

Sora 出来后对我们启发也很大,在这之前,视频的生成都很短,相机的运镜幅度也很小,而 Sora 最长能达到 1 分钟,也有比较大的角度的运动,看起来时空一致性也不错,这对我们的触动很大,由此自然意识到重建和生成可以结合。当时在商汤也拥有得天独厚的优势,因为如果在高校,算力、数据限制都很难迅速跟进。

左林右狸频道:Sora 给你们的最大的启发是什么?

章国锋:Sora 之前我们也没有料到视频生成能做到如此惊艳的程度,这让我们看到生成的潜力,但是直到现在视频生成也没有彻底解决时空一致性的问题。对此,我们认为 3D 表征是必要的,因为只有用 3D 表征,时空一致性才能得到根本解决,而 2D 有一个负担是——要保证 2D 画面的时空一致性,需要依靠 Transformer 的 Self-Attention 两两之间的暴力关联去解决,而且也很难彻底解决。这就是我们为什么要坚持走 3D 路线。

02 “我对创业这件事抱有敬畏心”

左林右狸频道:你在 SLAM 和三维重建领域做了二十多年。2019 年 AR/VR 热过一轮,2021 年元宇宙热过一轮,你在商汤做数字空间,都没出来。为什么是 2025? 这三波浪潮对你来说,有什么本质区别?

章国锋:2024 年底时基本已经想清楚了要创业,之后又准备了半年时间,在 2025 年 7 月 30 号正式出来。创业这件事,肯定要经过深思熟虑,我有不少学生和同学创业,失败居多。我对创业这件事存在敬畏心,不是说我觉得这个技术有前景就去创业,创业要成功,需要很多天时地利各种因素结合,还得考虑难度有多大。

过去 20 年我在学术上不断积累,加上商汤八年半的产业积累,都非常重要。在商汤我们真正完整地把一项前沿技术,做到产品落地,这其中的工程化、产品、商业化经验都积累了许多,但也遇到很大的挑战。来到 2025 年,我们看到重建跟生成的结合使得原来的瓶颈能被突破,技术发展到这个阶段,是创业的一个很好的窗口期,所以我们就出来了。

左林右狸频道:李飞飞创立 World Labs 这件事,是加速你创业的进程?

章国锋:当然。创业的 timing 很重要,太早的话容易成为先烈,太迟就没机会了,而 2025 年市场已经被教育过了,时间不算晚。

左林右狸频道:你是温州苍南人,温州人通常给人敢想敢拼的特质,你觉得你继承了这部分基因吗?

章国锋:我觉得我还是符合的,但前提是我得先想好,对于创业这件不是头脑一发热就去做,如果这样,可能我早就创业了。在 3D 领域我研究了 20 年,未来我想把空间智能变成千万用户都能用的一项技术和产品,这件事让我非常的 exciting,甚觉得比发论文更有意义。

左林右狸频道:现在世界模型这一波,资本市场开始追捧所谓的“小天才”,你觉得跟他们比,影溯团队最大的优势是什么?

章国锋:我们在 3D 这个领域积累了二十多年,这种积累是非常稀缺的。我认为 3D 领域需要很深的积累,不然现在做世界模型研发就会遇到各种坑,就像前面讲的,经验让我们可以在效率上取胜,跑得更快,这个非常重要。其实我们团队也有「小天才」,也有经验丰富的研究人员、工程人员。

左林右狸频道:刘浩敏博士,你为什么选择他作为你的联创?需要说服他吗?

章国锋:基本不用,因为他一直有创业的想法,甚至想过更早出来创业(我当时跟他说,还太早了,时机不对)。他是我的博士生,毕业后,先在百度工作了两年,后来我又把他叫到商汤,从 2019 年起便跟我一起做事,所以我们之间的默契度非常高。

左林右狸频道:在推动影溯这家公司的进程中,他的角色是什么?

章国锋:他更多负责技术、产品和业务。

左林右狸频道:你们为什么给公司起名为“影溯”?

章国锋:这个名字也想了很久,影代表「影像、视觉」,溯是「溯源」,即我们要追溯视觉的本源,探求本质。

左林右狸频道:能不能用一句话给我们讲清楚影溯到底要做什么事情,解决什么问题?

章国锋:影溯是一家要做通用的空间智能基座模型公司,我们希望推动 AI 从理解语言走向能够理解空间,到真正理解物理世界,能够跟物理世界进行互动并能推演。

左林右狸频道:分几步去实现?

章国锋:首先要构建原生 3D 路线,这一步的前提是要有足够的 3D 数据。现在这个阶段还不是完全的原生 3D,而是 3D 跟 2D 的混合,也即是重建跟生成结合的一个架构。现在的生成更多借助 2D 模型,我们要解决的一个问题是 2D 视频转 3D。积累了足够多 3D 数据后,接下才可以真正去训练一个原生 3D 模型。

一开始就解决空间生成的问题,其实跟李飞飞的 World Labs 做的事情是类似的,他们先做了 Marble,后来推出了 Atlas,这是因为大家都意识到首先要构建 3D 骨架,也就是 3D 空间生成,有了骨架再往上面「挂」相应的属性,再解决物理 AI 要解决的问题。

03 物理 AI 需要一个坐标系

左林右狸频道:2D 视频派认为一致性不一定非得靠显式 3D,规模上去它自己会长出来,你怎么看?

章国锋:3D 的表征不只包括显式,也包含隐式的表征,无非隐式的不适合编辑。2D 视频生成通过数据 scaling 上去,确实能解决一部分一致性的问题,比如 Seedance 2.0 在人物的一致性上确实做得很好,应该是用了大量数据以及在标注上花了很大功夫,但背景一致性做得不够好,哪怕是 2.5 版本依然存在这个问题,这是因为背景属于更加通用的部分,比人还要复杂,所以2D 视频很难从根本上解决一致性的问题,只能减轻。

那么专门做 AI 短剧影视的人,他们是怎么做的呢?为了提升一致性,先用 Blender 这样的工具生成一些白模,然后用 3D 去控 2D,也就是告诉视频模型——根据这个白模再生成一个视频,这样一致性就能得到提升。这也再次证明光靠 2D 视频,解决不了一致性的问题。所以我们认为在空间智能发展上,2D 视频路线的天花板远不如原生 3D 路线。

我们的思路是 3D 控 2D,可以做到精准的像素级控制,Seedance 等 2D 路线不一定能做到精准像素级的控制,所以从更加根源上来讲,我们的原生 3D 路线能彻底解决时空一致性的问题。

左林右狸频道:有一种观点认为,AI 理解物理世界,并不一定需要理解空间,因为语言、因果这些不落在 3D 上,如果这种观点成立的话,空间智能会不会只是理解物理世界的一个必要但不充分的条件?

章国锋:我认为,空间不是世界中的普通组成部分,而是底座,是语言、因果、时序、规则得以锚定的坐标系。2D 与3D的根本区别在于,2D 没有建立这种坐标系,因此一致性难以解决。语言也是如此:它能解释世界的大部分,但一旦涉及空间,就很难真正理解。

例如,单靠语言描述,往往不如到现场看一眼理解得深。禅宗里讲“不立文字”,靠顿悟,当下明心见性才包含全面完整信息;文字描述再细,也常显得朦胧。因此,认为完全靠语言、不去理解空间就能实现物理 AI,我不认同。就像 GPT-6 即便能操控机器人,也不只是靠语言文字训练,而是用了机器人数据,可能还用了 3D 数据训练。

左林右狸频道:有人说,做空间智能基础模型的最后都会沦为被 GPT 调用的地位,你怎么看?

章国锋:调用是可能的,现在大模型已经朝着多模态发展了,确实有点像一个大脑,配合 agent 可以调用各种能力。但是 GPT 不会取代 Seedance,3D 也是一样,未来 GPT 调用原生 3D 模型去更好完成任务,但不能取代 3D 模型,这恐怕是未来的一个趋势。

左林右狸频道:你们发布了多个模型,其中 InSpatio-WorldFM 在 3 月 4 日发布,InSpatio-World 在 3 月 19 日发布,只差 15 天。这 15 天里发生了什么?

章国锋:其实我们主要是要发布 InSpatio-World 这个模型,InSpatio-WorldFM 只是顺便做的,可以说是对李飞飞的 World Labs 的 RTFM(实时帧模型)的复现并开源了,最新的 InSpatio-World 1.5 已经把 InSpatio-WorldFM 的功能统一进来了。

InSpatio-World 支持单目视频变成一个 4D 场景,走进去漫游;也支持一张图漫游,李飞飞的 Atlas 能实现的「子弹时间」我们也能做到。

左林右狸频道:过去一年里,你们发布了很多模型,基本都开源了,还做了个免费的 App 叫 Crystal 空间相机,发起了空间智能 3D 数据开放计划……做了很多事情,那么在过去一年里,影溯内部有没有被砍掉的项目、产品线或者技术方向?

章国锋:有的,我们也在做减法,判断一些方向是不是值得马上投入。例如,除了模型的研发迭代,我们也在做一些商业价值的验证,像在影视、游戏、具身智能等方面,但这些是不是现在都值得我们去做?应该不是,我们现在人力也有限,所以会选择某一些痛点领域率先去做商业化。

在模型上,虽然我们发了很多模型,但总体上还是坚定走原生 3D 路线。

我们觉得 3D 表征很重要,3D 表征不只是几何的表征,还有动作的表征。在具身智能领域,动作、语义、意图都可以作为 3D 的表征,我们也做了一些工作投稿,把几何表征跟动作表征联合建模,结果发现在复杂遮挡的任务上,我们模型是 π 0.5 的成功率的两倍,它的成功率才 40% 多,我们可以达到 80% 多。

左林右狸频道:有没有哪几件事情是影溯明确先不做的?

章国锋:肯定不会专门做一个视频模型。如果我们要做 Word Action Model 也不会用视频模型,现在很多公司做 Word Action Model,并不会预训练一个模型,而是拿一个视频模型做后训练,我们不会走这条路。我们认为 World Model 应该是一个 3D 的模型,所以会去做一个 3D World Action Model。

04 3D 世界模型之争其实是数据之争

左林右狸频道:你一直强调 3D 数据非常缺乏,影溯也联合 20 多家产学研单位共同发起了一个叫「大规模空间智能 3D 数据开放计划」,你是怎样把各个领域的头部机构给拉进来的,还有一些同行参与?

章国锋:最核心的一点是因为大家共同意识到了 3D 数据的重要性,如果能解决 3D 数据匮乏的问题,这件事情的价值就好比当年的 ImageNet——ImageNet 对 2D视觉的发展起到了关键作用,甚至推动了深度学习发展,但是 3D 一直没有足够大的一个数据集。我在 3D 视觉、空间计算领域深耕二十余年,长期和学术界、产业界保持交流,他们都非常认可这件事,愿意一起来做。

打开网易新闻 查看精彩图片

左林右狸频道:你们的目标是在两年内做到百万级的 3D 数据,那么行业里现存的 3D 数据有多少?

章国锋:互联网上,3D 物体的数据已经比较多了,但是高质量的场景数据几乎没有。

左林右狸频道:要集整个行业的力量来积累 3D 数据,这个过程中最难的是什么?是 3D 数据采集的技术、工具还是投入的人力资源?

章国锋:我们认为 3D 数据应该呈现出一个金字塔形状,不同数据处于不同等级和类型,最底层应该是量最大、成本可接受、可持续、多样性要足够大的数据。我们知道训练一个大语言模型或者视频模型,要让它具备泛化性,需要的数据量级非常大,基本是互联网级别的数据,但训练 3D 模型最大挑战就在于互联网上没有 3D 数据,所以现在最大的挑战是底层量最大的这部分数据是缺失的。

我们认为互联网上的图像、视频其实蕴含了 3D 信息,关键是怎么抽取出来用来做模型训练的 3D 数据。

左林右狸频道:这个开放计划,影溯在其中起到的主要作用是什么?

章国锋:我们会跟大家一起去制定整个框架,包括数据的标准、测评基准等。除了把框架搭起来,还有件最重要的事是解决底层最大数据量的问题。

刚说到通过把互联网数据转换过来,抽取出 3D 信息,现在我们已经基本能做到把单目的动态视频转换成 4D 高清场景,但还没有完全做到 360 度全量,今年计划做到。这意味着互联网的视频可以源源不断高效转换成 3D 甚至 4D 数据,底层最大量数据的问题由此解决。

左林右狸频道:你说互联网视频中存在大量 3D 数据,但是过去一直没有人能取出来,原因是什么?

章国锋:之前技术上达不到,要抽取出来,鲁棒性、效率都是很大的挑战。计算机视觉中用「多视图几何原理」让计算机从多张二维图片里反推出三维结构——在过去,通过不同视角拍摄的图像,可以通过匹配把 3D 给反求出来,但要求要有静态的场景,而且相机必须要移动的。但由于互联网上符合多视图几何原理假设的数据很少,通过这种方式不可能得到完整的 3D 场景。

而 3D 重建跟生成结合就能把一个不完整的局部观测的影像信息,还原成一个全量的完整 3D 甚至 4D 场景。这对技术要求非常高。

左林右狸频道:你们将 2D 互联网数据转换成 3D 数据,转换率达到多少?

章国锋:我们还没有真正开始大规模转数据,但预期上转换的成功率还是非常高的。互联网上的视频应该有几百万年的数据,只需拿 1% 的数据来转换可能就够了,所以我们还要筛选符合标准的数据。

左林右狸频道:这条路径的上限是不是由版权限制的?

章国锋:版权可能会是一个问题,但还是有大量视频可免费获取。

左林右狸频道:也有一些公司称可以用自研模型对互联网视频反向解构,提取深度、相机位姿与几何轨迹,如果这些公司或 World Labs 把类似能力做得更强,影溯的数据飞轮壁垒在哪?

章国锋:我们的定位是做 3D 世界模型公司,所以我们会用自研的 InSatio Word 模型,或者它衍生出来的模型去做 2D 到 3D 数据的转换。可能不少公司都说也能做某件事,但能做到什么程度,并没有看到公开的论文或者 demo 能给出明确印证。将一个单目视频转换成一个完整的 3D 动态场景,目前无论在学术界还是工业界都是一个公认的难题。我们是明确给出了 demo,验证了单目视频转换成 3D 动态场景的可行性,预计年底可以做到能够支持 360 度漫游的完整3D场景生成。

左林右狸频道:你一直在强调数据的重要性,未来空间智能的竞争本质上是数据之争吗?

章国锋:现在 3D 数据非常缺乏,谁先解决了数据的问题就获得了先发优势,这也不是靠资源堆砌就能解决的。另外,3D 模型架构还没有定型,模型架构上也需要多一些突破,这也跟数据息息相关,因为模型架构的突破前提是要对数据有很深的理解。

左林右狸频道:空间智能能够 scaling,需要的数据量跟大语言模型相比,是更少还是更多了?

章国锋:3D 世界模型对数据的要求其实更低,我们也能看到,从语音模型到视频模型,参数量都在下降。

左林右狸频道:为什么呢?不同模态的数据信息密度在上升?

章国锋:的确,数据的信息密度上升后,反而用来训练的 token 量是下降的,那么 3D 也是如此,3D 跟视频相比,同一个场景,用 3D 来表达的信息,可以用更少的数据量来表达,因为视频很多像素都是冗余的,而 3D 是非常紧凑的表达。从这个角度来讲,训练一个 3D 模型,需要的数据量比视频模型的数据量更小,对应的算力更小,这也是 3D 的一个优势。

当然,空间智能包含很多,不只是空间生成,还有感知、理解、交互、推演等等,需要更多围数据进来,从这个角度来讲,需要的数据量肯定也不小。前面我说的是在同等情况下,比如生成这个能力,3D 需要的数据量反而更少。

05 计算机视觉正在消失吗?

左林右狸频道:如果五年后,影溯要做成一件事,让我们的世界跟现在不一样,你希望那件事是什么?

章国锋:我首先当然希望世界更美好。影溯的目标是要做通用的空间智能的模型,提供空间智能这样一个底座,赋能千行百业。五年内,我希望能尽快突破空间智能的 ChatGPT 时刻。

左林右狸频道:未来 3D 世界模型会像大语言模型一样收敛到少数基座,还是像自动驾驶割据?

章国锋:影溯要做通用的空间智能基座模型,不只局限于具身、自动驾驶或者影视游戏,这样的模型市面上不会有很多家,如果具体到具身智能等垂直领域,跟硬件绑定可能会有很多家。

左林右狸频道:接下来一年,影溯的考卷是什么?或者你们最想验证的一个技术节点是什么?

章国锋:持续提升模型能力上限是我们的主要任务,最近刚发布了 InSpatio-World 1.5,年底应该还会再发布一个模型。同时,我们也会持续推进商业化,验证商业价值。

我们重点看好具身智能这个场景,为此会打通训练闭环,结合 World Action Model,建设类似基础设施的能力;并通过开放计划联合合作单位,扩大数据规模、建立数据标准、验证数据价值。

左林右狸频道:你们大部分模型都开源了,有一个面对具身智能领域的模型 Topo-pro,已经有付费用户了吗?

章国锋:我们正在跟一些具身智能公司深入合作,年底应该会有一些订单。

左林右狸频道:他们的付费逻辑是什么?

章国锋:具身这块我们推出了 Tops-pro 这个产品,它是一个世界模拟器。李飞飞的 Marble 可以根据一张图或者几张图像生成一个 3D 高斯资产,但这对具身肯定不够,具身需要是一个可编辑、可交互带有物理属性的 3D 资产,所以,Tops-pro 不仅能生成一个 3D 高斯场景,还可以把物体都实例化,变成一个可编辑、可交互的 SimReady 的 3D 资产,给到具身公司去训练。

我们希望能打通整个训练仿真的闭环,以此节省具身公司在模型训练上的成本,加速他们的部署。

左林右狸频道:能否帮我们想象一下,空间智能的智能涌现是怎样的?

章国锋:最具体的一个例子,空间智能涌现的那一天,在具身智能领域,机器人可以零样本干活了,不再需要工程师提前把环境扫一遍,建好图,标好位置这些工作了。

左林右狸频道:MIT 的 Vincent Sitzmann 今年写过一篇文章,核心观点是:计算机视觉作为一个独立领域正在消失,而 3D 表示——点云、辐射场、SDF、体素——正是「苦涩教训」警告的那种人类精心设计的中间瓶颈。他说我们应该直接在原始数据上训练通用物理智能模型,模型内部会长出它自己的结构,而那个结构很可能不会对应任何人类设计的 3D 概念。这个判断您怎么看?

章国锋:确实是这样的。就像现在的 AI for AI,未来我们的模型架构可能就是 AI 通过不断迭代自身训练出来的,可能会突破人给它的设计框架。就像很多大模型训练,有时候我们加了很多规则,最后发现还不如直接从数据中去学反而更有效。

左林右狸频道:这样的话,对于影溯这种拥有多年 3D 经验的团队,其经验优势会不会被稀释?未来,各玩家更多是在 AI 能力上的比拼?

章国锋:首先,如果没有这部分优势,可能都走不到你说的到那一步。前面的这部分地基需要一点点建立,不可能绕过直接来到 AI 的自进化。

章国锋不是一个典型的教授型创业者,但他保有学者创业惯有的谨慎,这种谨慎源自于「不是追风口,而是等拐点」。

2003 年,麻省理工学院媒体实验室研究院西蒙·格林沃尔德在其硕士论文中首次对“空间计算”进行了正式定义:空间计算是人类与机器的交互,其中机器保留并操纵真实物体和真实空间的参照物。

空间计算刚刚成为一门显学,这一年,章国锋浙大计算机本科毕业,进入鲍虎军教授的课题组,开始研究摄像机跟踪,成为实验室第一批做计算机视觉的人。

此后,他的学术生涯横跨空间发展的二十年长河,经历了概念探索、AR/VR 商业化起步、产业低谷与路线调整、AI 融合新阶段等多个节点,凭借在 SLAM(同步定位与建图)和三维重建领域取得了系统性成果,从而奠定了其顶尖学术地位。

打开网易新闻 查看精彩图片

(第二排正中间为章国锋)

在这期间,空间计算也站上过风口,2019 年 AR/VR、2021 年元宇宙两波浪潮席卷而来,他都没有从实验室彻底走出来,只是在 2017 年「迈出一只脚」——兼职加入商汤,开始尝试把前沿空间计算技术,做成可规模化复用的产业平台,并完成大规模商业验证。直到 2025 年,才正式下场创业。

左林右狸频道好奇这三波热潮对他来讲有什么本质区别,对此他解释称,自己对创业抱有敬畏心,并不是头脑一热就要去做,而是经过了深思熟虑;下场创业是因为看到了生成式 AI 这一技术拐点,决心抓住重建跟生成合流的技术窗口期。

章国锋 1981 年生于温州苍南,温州人给外界的印象一直是「敢想敢闯」,他认为自己继承了这部分特质。但二十多年专注于学术研究,他清楚不是每一次风口都是拐点,所以面对每一次风口又保持谨慎。

这次访谈过程中的一个小插曲,也侧面体现了他的敬畏心:访谈前,章国锋团队提出延期进行,原因是章老师这两天事情太多,担心状态不好影响输出效果。哪怕是对外发声这样的环节,他也不愿在准备不足时仓促上场 —— 这种不敷衍的态度,和他创业前准备了半年是同一个逻辑。

时至今日,世界模型的概念无限膨胀,其中不乏蹭热度的,浮躁、浮夸风盛行。在这个 AI 创业者泥沙俱下的时代,章国锋的这种敬畏心显得尤为珍贵。

在对章国锋以及影溯写作的过程中,空间智能发生了「巨变」,领军人物李飞飞卖掉了她两年前创立的空间智能公司 World Labs,加入 AMD,在网上引起了不小争议。不少观点认为这次「卖身」是受 GPT-6 的冲击——GPT-6 发布后,业界一度讨论「世界模型、空间智能这条路会不会越来越难走」。

对此,章国锋认为,以 GPT 为代表的大模型未来有望充当智能体的 “大脑”,具备较强的理解和规划能力,并配合 Agent 调度调用各类能力,但无法完全替代空间智能。因为这类模型并不能原生生成 3D 场景,往往需要调用 Blender 这类外部建模工具实现 3D 生成,在效率和效果上都比不上原生 3D 的方式。面向物理世界的空间智能,依然需要专属的基础模型,这正是影溯持续攻坚的方向。

他们正在做长期技术攻坚,我们不妨静候佳音。(本文作者关注空间智能、多模态、AI,欢迎+作者 vx:todayisokyep 交流~)

我们欢迎所有能为左林右狸提供新观点新角度新信息的群友,加入我们的实名制社群,与左林右狸一路同行。管理员微信号:leiphonelinli,备注公司-职位-称呼通过更快。

相关视频