在9月底的开发者大会上,Meta刚刚炸场,发布了十年磨一剑的产品——全息AR眼镜Orion,号称“至今为止最先进的眼镜”,拉动股价至历史新高。北京时间10月4日晚,Meta再次投下重磅炸弹,发布类Sora的视频生成模型Movie Gen,官方称这是“迄今为止最先进的媒体基础模型”。

打开网易新闻 查看精彩图片

截至10月5日收盘,Meta涨2.26%,股价达到595.94美元的历史新高。自今年年初以来,Meta股价已上涨超过70%,目前最新总市值来到了1.51万亿美元。随着Meta股价的持续攀升,其CEO马克·扎克伯格(Mark Zuckerberg)首次超越亚马逊创始人贝索斯,成为全球第二大富豪,仅次于马斯克。

在官方博客中,Meta表示,全新发布的 Meta Movie Gen是先进的沉浸式叙事模型系列,拥有视频生成、个性化视频生成、精确视频编辑和音频生成四大功能。从Meta演示的视频来看,其在画面美感、细节、人物动作流畅度、物理规律等方面都做到了不错的效果。

打开网易新闻 查看精彩图片

在具体功能方面,用户可以通过上传图片,利用 Meta Movie Gen 生成既个性化但又保持人物特征和动作的视频。用户也可以通过提供视频文件或文本内容,让 Meta Movie Gen 生成相对应的音频。Movie Gen支持生成 1080P、16 秒、每秒 16 帧的高清长视频,以及能够生成最长 45 秒的高质量音频。

不过,如同Sora一样,Movie Gen也是“期货”产品,目前尚未对外开放,也没有明确的时间表。官方称正在积极地与娱乐行业的专业人士和创作者进行沟通和合作,预计将在明年某个时候将其整合到 Meta 自己的产品和服务中。

据外媒,Meta 副总裁 Connor Hayes 透露了延迟推出的重要原因,他表示Meta Movie Gen 当前使用文本提示词生成一个视频往往需要等待数十分钟,极大影响了用户的体验。Meta 希望进一步提高视频生成的效率,以及实现尽快在移动端上推出该视频服务,以便能更好地满足消费者的需求。

Meta称Movie Gen是在授权和公开数据集的组合上训练。对于背后的技术细节,Meta AI 研究团队也在社交媒体上公开了一份长达 92 页的论文。据介绍,Meta 的 AI 研究团队主要使用两个基础模型来实现这些广泛的功能,包括Movie Gen Video 以及 Movie Gen Audio 模型。

Movie Gen Video 是一个 30B 参数的基础模型,用于文本到视频的生成,能够生成高质量的高清视频,最长可达 16 秒。而 Movie Gen Audio 模型则是一个 13B 参数的模型,用于视频和文本到音频的生成,能够生成长达 45 秒的高质量和高保真的音频,包括声音效果和音乐,并与视频同步。

据悉,模型预训练阶段使用了大量的图像和视频数据,能够理解视觉世界的各种概念,包括物体运动、交互、几何、相机运动和物理规律。为了提高视频生成的质量,模型还进行了监督微调(SFT),使用了一小部分精心挑选的高质量视频和文本标题。报告显示,后训练(Post-training)过程则是 Movie Gen Video 模型训练的重要阶段,能够进一步提高视频生成的质量,尤其是针对图像和视频的个性化和编辑功能。

在技术论文中,研究团队公布了 Movie Gen Video 模型与主流视频生成模型的对比数据。由于 Sora 目前尚未开放,研究人员只能使用其公开发布的视频和提示来进行比较。对于其他模型,如 Runway Gen3、LumaLabs 和可灵 1.5,研究人员选择通过 API 接口来自行生成视频。

打开网易新闻 查看精彩图片

通过进行胜率比较,Movie Gen Video 在整体质量上显著优于 Runway Gen3和 LumaLabs,对 OpenAI Sora有轻微的优势,与国内的可灵 1.5 相当。

打开网易新闻 查看精彩图片

一度在元宇宙领域遭遇困境的Meta,在2024年凭借生成式AI成功逆转命运。在8月初,摩根大通发表报告将Meta目标价由480美元升至610美元,报告指出,Meta近期表现良好,相信已在关键的长远计划上适当投资,尤其是AI。9月底,摩根大通再次宣布看好Meta,将其目标价从610美元上调至640美元。

今年8月,Meta发布的2024年Q2财报显示,公司营收为390.71亿美元,同比增长22%,净利润为134.65亿美元,同比增长73%,均超出华尔街分析师预期。Meta表示,公司在人工智能方面的巨额投资有助于提高其在线广告平台的表现,这是营收增长的一大原因。

目前Meta已连续四个季度收入增幅超过20%。Meta预计,2024年第三季度该公司的总营收将可达到385亿美元至410亿美元之间,这一展望同样超出分析师预期。