Sora的发布,无疑是AI技术发展史上的一个重要里程碑,它不仅为我们带来了新的创作工具,也为我们打开了一个全新的想象世界。
由Sora生成的“时尚女子在夜晚城市街头行走”的视频,其光影、质感和动作都非常接近真实世界。
2月末,几段“威尔·史密斯吃面”的视频突然在网络爆火,视频的发布者正是美国演员威尔·史密斯本人。其中有几段视频极其搞笑,画面中,威尔·史密斯用夸张的表情、怪异的动作吃面条,让人忍俊不禁——这几段视频是一年前由人工智能生成的,作为对比,有一段视频是正常的。据威尔·史密斯说,这是由最新的视频生成人工智能Sora生成的,他想表达的是,经过一年的发展,人工智能的水平进步极大。
可以说,这几段视频的主角其实不是威尔·史密斯,而是Sora,一个发布于2月中旬、让全世界为之震惊的人工智能文生视频大模型。
在Sora发布不久后,几乎所有关注人工智能的专家和普通爱好者都认为,这是人工智能技术的又一次巨大进步,正如一年多以前ChatGPT横空出世那样。而Sora的母公司OpenAI,也恰恰是ChatGPT的母公司。
让人惊叹的视频生成效果
需要澄清的是,威尔·史密斯发布的那段正常吃面的视频其实并不是Sora生成的,而是他自己表演并录制的。网友们对这段视频的“信以为真”却从侧面反映出,AI生成内容已经达到了以假乱真的效果。
Sora由OpenAI在2月16日静悄悄地发布。Sora的诞生,就像是一颗在夜空中突然亮起的新星,让整个科技界为之震动。它可以根据文字提示生成长达一分钟的视频,画面流畅、细节丰富,仿佛将文字中的世界变为现实。它的出现,被视为视频生成领域的一次重大突破,预示着未来内容创作的无限可能。
在网络上广为流传的一个案例是,Sora根据提示“一位时尚女性走在东京街头,周围是温暖闪亮的霓虹灯和活力四射的城市标识”,生成了一段视频。视频中,女主角穿着黑色皮夹克,长长的红色连衣裙,搭配黑色靴子,提着一个黑色手提包,戴着墨镜,涂着艳丽的口红,自信而随意地走在反射着五彩霓虹的潮湿街
道上,周围是熙熙攘攘的行人。这个视频展示了Sora在视觉效果上的精确把控,周围霓虹灯的闪烁、地上积水对光线的倒映以及人物的皮肤等,都非常真实。这段视频似乎展现了Sora对现代都市风情的深刻理解。
除此之外,还有一些由Sora生成的视频在网上流传。比如几头巨大的长毛象缓缓地穿过一个雪地草原,它们长长的毛发在风中轻轻摇曳,远处是被雪覆盖的树木和壮观的雪山。午后的阳光透过稀薄的云层,为场景增添了一抹温暖的光辉。低角度的摄影视角令人印象深刻,捕捉到了这些大型毛茸茸动物的美丽画面。第一次看到这个视频,会以为自己看到的是一部皮克斯或者迪士尼的动画电影。
有电影感的不止于此,还有一个视频看上去像一部制作精良的科幻电影预告片。点开视频,我们能看到一个30岁左右的太空人的冒险故事。视频中的主角戴着红色羊毛编织的摩托车头盔,在蓝天和盐沼的背景下,呈现出使用35mm胶片的电影风格,色彩鲜艳。但红色的毛线帽子又体现了视频制作者故意表达的违和感。
如果你用对了提示词,Sora生成的视频可以有非常惊艳的镜头感。比如有一段视频展示了无人机俯瞰大苏尔加雷角海滩时,海浪拍打着崎岖的悬崖。碧蓝的海水形成白色的浪尖,而落日的金色光芒照亮了岩石海岸。远处的小岛上有一座灯塔,悬崖边覆盖着绿色的灌木。从道路到海滩的陡峭落差极为壮观,悬崖边缘伸出了海面。这是一个捕捉海岸原始美丽和太平洋海岸公路崎岖景观的视角。
这段视频的运镜非常自然、流畅。当然,Sora还可以生成一些真实世界不存在的视频。比如有一段视频展示了一个由纸艺制作的珊瑚礁世界,其中充满了五彩缤纷的鱼类和海洋生物的奇异世界。整个场景色彩鲜艳,细节丰富,但所有的海洋生物全部由折纸制作而成,非常有想象力。
这些案例展示了Sora在视频生成方面的多样性和创造力,同时也反映了其技术在视觉效果和场景模拟上的高水平。不过,到目前为止,所有Sora生成的视频都是由受邀用户创作的,OpenAI还没有向普通用户开放使用。据说,Sora迟迟没有向普通用户开放的一个重要原因是成本问题——每个视频都需要很长的生成时间,背后需要非常庞大的算力支持。
号称理解真实世界的Sora
Sora的发布,无疑是AI技术发展史上的一个重要里程碑,它不仅为我们带来了新的创作工具,也为我们打开了一个全新的想象世界。Sora在视频生成领域相比于以前的AI模型,有众多显著的进步和不同之处。
Sora的物理引擎模拟能力确实在视频生成领域中占据了领先地位。与Runway、Pika等其他视频生成AI相比,Sora能够更精确地模拟物体的质量、速度、摩擦力等物理属性,使得生成的视频在视觉效果上更接近现实。例如,Sora可以模拟一个玻璃杯从桌子上掉落并碎裂的整个过程,包括碎片的飞溅方向和声音效果,给观众带来极其逼真的体验。
在视频时长和质量方面,Sora不仅能够生成高清视频,还能保证视频内容的连贯性和一致性。这意味着Sora生成的视频在视觉上不会出现跳跃或不自然的过渡,无论是简短的几秒钟还是长达一分钟的视频。这在动画电影或视频游戏的制作中尤为重要,因为它们需要长时间的连贯场景来维持故事的流畅性。
至于视频的处理灵活性,Sora的优势在于它能够根据用户的需求生成不同分辨率和长宽比的视频。无论是为了适应移动设备的小屏幕,还是为了在大型显示器上展示,Sora都能够提供适合的视频格式。此外,Sora还能够根据内容需要调整视频时长,无论是需要快速展示的广告片段,还是需要详细讲述的教学视频,Sora都能够灵活应对。
还有训练方法、扩展性、模型架构等也和此前的视频生成AI不同。Sora在训练过程中直接使用视频的原始大小进行训练,而不是将视频裁剪成固定大小,这提高了生成视频的整体质量和帧内容的合理性。Sora具有支持视频扩展的能力,即给定一段视频可以向前或者向后合成新的视频。在模型构架方面,Sora采用了基于latent空间的transformerdiffusion model架构,这是一个在视频生成领域相对较新的技术,它结合transformer的缩放特性和diffusion模型的优势。
正因为具备了这些能力,Sora被称为“世界模型”(World Model)——它不仅仅是一个视频生成工具,而能够模拟和理解物理世界的动态变化。在AI领域,世界模型是指那些能够预测和模拟现实世界中的物理和社会动态的模型。Sora的设计目标就是成为这样一种模型,它通过视频生成技术来模拟现实世界的复杂场景和物理动态。
具体来说,Sora能够根据文本描述生成视频,这些视频不仅包含视觉内容,还能够展示出时间上的连贯性和物理运动的逻辑性。
例如,Sora可以生成一个人在街上走路的视频,这不仅需要模拟人的外观,还要模拟人的动作、周围环境以及与环境的相互作用。再比如无人机的俯拍镜头,这要求AI对运动速度、透视、光线变换等真实物理参数有所理解。这些理解真实世界的能力,使得Sora超越了传统的视频生成工具,成为一个能够模拟现实世界的AI模型。将Sora视为世界模型意味着它不仅能够创造出视觉内容,还能够理解和模拟这些内容背后的物理规律和社会动态,从而为用户提供更加真实和精确的模拟结果。这对于科学研究、工程设计、教育培训以及娱乐产业等多个领域都可能产生深远的影响。
总的来说,Sora在视频生成的效果、时长、质量、灵活性和技术架构上都有显著进步,这些进步使得Sora在视频生成领域具有重要的地位,其在视频生成领域也具有巨大的潜力和应用价值,特别是在需要高度真实感和定制化视频内容的场合。
还谈不上完美
在AI生成图片领域,MidJourney已经可以做到让人真假难辨的程度了,但很多图片仍然一眼就能看出来是AI生成的,其中一个重要的辨别方法就是看手。如果仔细看,绝大多数AI生成图片中的人手,总是会有手指数量不对、左右倒置、手型不自然等问题。虽然MidJourney经过多次改版升级,着重改善了人类手部生成,但这个问题偶尔还会出现。
Sora也有类似的问题。虽然不像“威尔·史密斯吃面”那么别扭、搞笑,但在这次发布的Sora生成视频中,可以明显看到一些不符合真实世界物理原理的错误。比如那段城市夜景中的时尚女子视频中,仔细看的话,在视频后半段出现了女子腿部的错误运动——一条腿连续迈两步,而另一条腿却没有动作。还有一段内容是关于小狗的视频,一只小狗突然“分身”出好几只来,看着颇为诡异。
不过,作为一个尚未正式发布的产品,我们也无需对其苛责。AI生成的图片和视频在许多方面仍然展现出了惊人的创造力和潜力。AI在艺术创作中的应用也正在逐步深化。艺术家们开始利用这些工具来扩展他们的创意边界,创作出前所未有的作品。AI的介入不仅加速了创作过程,还为艺术表达提供了新的维度。
当然,AI生成的图片和视频还远未达到完美,仍然需要人类艺术家的审美指导和技术调校。但随着技术的不断进步,我们有理由相信,未来AI将能够更加精准地捕捉和再现人类的细微表情和复杂动作,带来更加逼真和富有表现力的视觉作品。
在这个过程中,我们也应该保持警惕,确保AI生成的内容不会被误用于制造虚假信息或进行不道德的操作——如果威尔·史密斯不声明的话,公众是否会认为他发布的那段“真实”视频真的是由AI生成的呢?
事实上,现在已经有很多真假难辨的图片、视频出现在网络上,人们越来越难以辨别这些内容是真实的还是AI生成的,似乎我们很难说“眼见为实”这样的话了。
技术的发展应当伴随科技伦理治理的强化,以确保它为社会带来的是正面而非负面的影响。未来,我们可以期待Sora在教育、娱乐、甚至是个人表达等领域发挥更大的作用,同时也需要警惕和规范它可能带来的风险。正如每一项新技术的出现,就行业而言,Sora的出现既是机遇,也是挑战。
(文章来源:《创意世界》2024年4月号)
编校:苑宝平,审读:郭丽
/ / / / /
/ / / / /
/ /
/ / / / /
/ / / /
热门跟贴