“行业以往的‘统一视觉’,多是把检测、分割、深度预测等多个专家模型打包封装,本质还是割裂的。”商汤科技今天发布并全面开源了日日新SenseNova-Vision视觉大模型,一上来就戳破了行业那层窗户纸。这款模型的思路简单粗暴:不再把视觉能力当外挂插件,而是让视觉变成大模型的原生能力,目标检测、图像分割、深度预测、3D重建这些经典任务,全部在一个模型里原生统一。

评测结果有点不讲武德。SenseNova-Vision凭借单个模型,在四大核心视觉领域直接把各领域的专用“专家模型”按在地上摩擦,甚至实现领跑。先看结构化视觉理解,什么目标检测、指代检测、OCR、关键点定位,它统统拿下头名;尤其遇到稠密小目标、长尾类别这种让传统模型头疼的场景,反而表现得更稳。稠密几何预测方面,深度估计、表面法向估计精度直接对齐几何专用模型,室内、室外各种场景下都稳得一批。分割能力也不含糊,通用分割、推理分割、交互式分割全链路拉通,凭借多模态理解力,在推理分割和对话式分割上直接“惊艳”了一把。多视角3D几何更绝,单模型就能高质量完成点云重建和相机位姿估计,这项能力在通用视觉路线里目前还没有对手。

打开网易新闻 查看精彩图片

横向对比更加惨烈。和语义导向模型如Youtu-VL相比,SenseNova-Vision在检测、分割、深度这些拼细节的任务上全面领先。而面对生成导向的Vision Banana,代际差距直接拉满:几乎所有权威评测指标上,SenseNova-Vision都压过对手一头,而且这还是单模型挑全任务。Vision Banana只能应对四大板块里的两类任务,SenseNova-Vision却把结构化理解、稠密几何、全景分割、多视角3D一口气全包了,更狠的是模型、数据同步开源,没藏着掖着。

商汤还顺手扔出了5000万条样本的视觉指令语料库SenseNova-Vision Corpus-50M,算是给社区送了一份大礼。按照商汤的规划,SenseNova-Vision的核心技术后续会全面融入日日新U系列大模型,让商业落地再多一层想象空间。同行还在费劲拼拼图,商汤直接画好了一张完整的地图——而且把地图免费发放了。