打开网易新闻 查看精彩图片

近年来,随着科技的快速发展,人工智能(AI)在我们的日常生活中扮演着日益重要的角色。OpenAI最新推出的视频生成模型——Sora,引起了广泛关注。这款模型的出现不仅在影片理解和生成方面展现了卓越性能,也对我们的世界产生了深远的影响。

Sora的设计灵感源自大型语言模型,通过将多种文字形式统一,实现了文字到视频的生成。在Sora训练之前,OpenAI将各类视觉数据转化为一个共同的表示法,这个表示法类似于大型语言模型的token,将影像或视频分割成小区块。这些块不仅包含局部空间信息,还蕴含时间轴上的连续变化信息,为Sora提供了丰富的学习材料。

Sora通过对影片进行块状表示,类似于大型语言模型的token,将其学习成潜在空间的表达。这种表示法让Sora能够捕捉影片中的运动、色彩变化等复杂的视觉特征,并重新构建新的序列,提高了生成视频内容的质量。

时空块是Sora的一个关键概念,是从视频帧序列中提取的,具有固定大小和形状的空间:时间区域。这种时空块的表示让Sora能够更好地观察影片内容随着时间和空间的变化而展现的规律。通过视频压缩网络,Sora将原始视频输入转化为时间和空间都经过压缩的潜在表示。

Sora利用Transformer网络对压缩的时空块进行编码,以学习全局自注意力。这种处理方式不仅适用于视频,也同样适用于图片。基于块的表示法让Sora能够处理不同分辨率、时长和宽高比的影像,展示了其强大的灵活性。

经过长时间的训练,Sora展现出了令人惊叹的新能力——3D一致性。这意味着即便在视角移动和旋转时,Sora生成的影片中的人物和场景元素仍能保持在3D空间中一致的运动状态。这对于人工智能而言是一项重大突破,体现了其理解物理世界的新水平。

尽管Sora表现出色,但仍存在一些局限性。在长时间采样时,模型可能出现不连贯性,影片的内容可能在时间轴上出现断裂。对于一些基本的物理规律,比如玻璃破碎、吃东西等,Sora仍然无法准确模拟。未来,Sora及其类似模型的发展方向将主要集中在提高模型的稳定性、增加对更复杂场景的理解能力、以及更好地模拟物理规律。

Sora的崛起代表着人工智能在视频生成领域的巨大进步,对于影片理解和生成带来了新的可能性。同时,AI技术在医学、气象预报、城市服务等领域也展现出强大的应用潜力,为各行各业带来了全新的机遇和挑战。

*免责声明:以上内容整理自网络,仅供交流学习之用。如有内容、版权问题,请留言与我们联系进行删除。