所谓视觉模型,就是一种能够像人类一样看懂图像的程序。我们想象一下,你拿一张照片给它看,它能够告诉你这是一只猫、一辆车、一个人或者其他东西,而且能够非常准确地判断。

这些神奇的程序得益于深度学习技术,也就是让计算机通过大量的数据学习和理解图像。

比如,要让计算机认识一只猫,我们可以给它看成百上千张猫的照片,让它自己分辨出哪些是猫,哪些不是。经过反复训练,它就学会了猫长什么样子,即使是从未见过的猫也能辨认出来。

打开网易新闻 查看精彩图片

这些视觉模型不仅能够识别物体,还能够理解场景和形状。比如,我们可以让它看到一张海滩的照片,并告诉它这是"海滩",那么以后只要看到类似的场景,它就知道怎么处理了。

这些视觉模型在现实生活中有很多应用。比如,自动驾驶汽车需要能够辨认道路、交通标志和其他车辆,智能家居需要能够识别人脸并做出相应的反应,医疗领域需要能够帮助医生自动诊断影像等。

Mate最新发布的视觉模型DINOv2可实现深度估计、语义分割和实例检索等功能,还能准确从视频中识别出物体。

打开网易新闻 查看精彩图片

让我们来看看官网的Demo演示效果如何:

首先是深度估计

注:在计算机视觉中,深度估计是指根据输入的图像或视频数据,预测每个像素点到摄像机的距离或深度。深度估计可以用于将 2D 图像转换成 3D 点云,进而进行三维重建、虚拟现实等应用。

深度估计通常被认为是一种回归问题,目标是学习一个函数来映射输入图像上每个像素的特征向量到对应的深度值。许多视觉模型使用卷积神经网络(Convolutional Neural Network,CNN)来从输入图像中提取特征,并将这些特征作为输入传递给后面的深度估计网络。在网络的输出层,深度估计模型会输出每个像素点的深度估计值。

深度估计在许多应用场景中都具有重要的意义,例如自动驾驶、建筑物重建和虚拟现实等。近年来,随着深度学习技术的发展,深度估计的准确性得到了大幅提高,成为计算机视觉领域的重要研究方向之一。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

语义分割:快速检测单个图像中,每个像素对象类别的模型。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

实例检索:可以根据你指定的图片检索出和图片类似的艺术作品

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

DINOv2能够实现自动化的主要原因就在于,DINOv2是基于上一代DINOv1打造的视觉大模型,并且是一款经过自我监督学习(SSL)的视觉模型。

SSL:自我监督学习(SSL)是一种机器学习方法,其中模型利用已有数据的无标签信息来进行训练。该方法的核心思想是通过从输入数据中创建虚拟的“标签”来自我监督地训练模型。

这些虚拟标签通常基于输入数据本身的某些性质或者规律,如图像的旋转、颜色变换等。由于无需手动标注数据,SSL在语音识别、图像分类等任务中具有广泛的应用前景。

对于基于视觉数据的自监督学习,常见的方法包括自编码器、对比学习和生成式模型等。这些方法都利用输入的图像或视频数据来训练模型,例如利用同一张图像的不同部分来预测它们之间的相似性,或者利用两张图像之间的关系来训练模型。

自我监督学习在深度学习领域中得到了广泛应用,因为它可以充分利用未标记的数据来提高模型的准确性,并且避免了人工标注数据的耗时和成本。

DINOv2将会得到极其广泛的应用,正如马克·扎克伯格所说,DINOv2还能被用于改善医学成像、粮食作物生长,更重要的是,可以制作更具真实感和沉浸感的元宇宙。