左下角的血条、右下角的小地图,还有这一连串丝滑的跑酷动作……

打开网易新闻 查看精彩图片

视频来源:X@awesome_visuals

看到这个画面,你是不是以为《疯狂动物城2》这边刚拿下中国影史进口动画片票房第一,那边就趁势要推出 3A 开放世界游戏了?甚至这光影和物理碰撞,比很多大厂的游戏都要真实。

但这其实是一段 100% 由 AI 生成的视频。就在这几天,这段视频在国外社交媒体创下1500 万浏览量纪录

打开网易新闻 查看精彩图片

截至 12 月 5 日下午 4 点 18 分,《疯狂动物城2》累计票房 23.04 亿元,已成为中国影史进口动画片票房第一

评论区的网友都在说,这简直不敢相信,如果这个视频演示是可交互的,一种的全新的游戏类型可能马上就要诞生了;还有人说,哪是新的游戏,我们看的电视剧,也不过如此了。

视频创作者在介绍里面提到,这段 10s 的视频是由Nano Banana Pro、可灵以及图片视频强化 AI 工具 Topaz 来完成的。

打开网易新闻 查看精彩图片

这名博主很快又更新了另一个视频,驯龙高手,同样是用 Nano Banana Pro 和可灵等 AI 工具来制作。今年六月,真人版驯龙高手上映,虽然没有动画版评分高,但也收获了一大波好评。现在这个 AI 游戏版,画面设计和审美,网友表示马马虎虎,也能买单。

有人问博主,这些视频都是怎么做的;她回了一句,就是先用 Nano Banana Pro 生成你想呈现的画面,接下来就是不断的尝试。

打开网易新闻 查看精彩图片

这个教程也太朴素了,能不能直接给我一套提示词,让我也去试试,是不是 AI 模型真的有这么厉害了。

快手的视频生成模型可灵,在这周一连五天,更新了 O1、2.6 等多款音视频图片模型。社交媒体上用可灵生成的 AI 视频,确实一个比一个真实。

无论是物理世界的运动规律,还是各种复杂的镜头语言,整体质感和过去,可能两三个月之前,又完全不是一个级别。

我们也用 Nano Banana Pro 和 AI 视频工具可灵、Google Veo 3.1、Sora 2 Pro 等,尝试了多个有意思的玩法,还提供了详细的提示词。

疯狂动物城的游戏系列,不能只有大世界

让 Judy 一个人在游戏里面奔跑多寂寞,我们直接上传自己的照片,然后拉上 Nick,一起在游戏里面冲刺。

打开网易新闻 查看精彩图片

虽然文字效果,除了来自 Nano Banana Pro 的首帧,剩下的片段就崩掉了,但是视频动效真的很强。

我们先用一张真实人物的照片,丢给 Nano Banana Pro,让它给我们生成一张首帧图。

提示词:一张开放世界游戏截图,背景设定在迪士尼的《疯狂动物城》。 使用提供的真人照片作为主要可玩角色,但将此人转换为《疯狂动物城》风格的3D动画角色。将参考图片中的朱迪和尼克放在真人的左右两边,两者均以全3D动画电影风格呈现,与其参考姿势完美一致。场景是一个明亮白天的《疯狂动物城》城市街道:高耸弯曲的大楼、多彩店面,以及许多拟人化动物 NPC 在背景中行走互动。

添加完整开放世界游戏 HUD 界面: 左下角:玩家头像(基于真人脸部)及耐力条; 右上角:显示周围街道的小型圆形地图; 顶部中央:任务文字:「与朱迪和尼克会合 → 12米」; 右侧:三个带冷却环的技能图标; 底部中央:「按E键交互」。16:9 大小,4K 画质。

打开网易新闻 查看精彩图片

得到首帧图之后,使用可灵的首尾帧视频生成就能得到最后的视频。不过,和 Nano Banana Pro 对提示词宽松的要求不同,大部分的视频生成模型,还是需要我们给出详细的指令,不然大概率又是一场抽卡游戏。

提示词:在迪士尼《疯狂动物城》的世界中,从包含真人玩家、朱迪、尼克以及完整游戏HUD的提供截图开始,连续10秒开放世界游戏风格追逐场景。保留所有面部特征、比例、服装以及参考画面中的3D动画电影渲染风格。动作开始时,真人玩家角色突然沿着《疯狂动物城》街道向前冲刺,自然的奔跑动画和强烈的前进动态。

摄像机从稍微靠后且居高的位置以动态第三人称视角紧密跟随,具有平滑的游戏式摆动但无过度晃动。朱迪在玩家左侧奔跑,尼克在右侧,两人加速进入快速追逐。他们的动作充满活力:耳朵弹跳,尾巴飘动,制服随着运动而反应,双腿用力蹬地。当三名角色飞速穿过时,《疯狂动物城》环境中的NPC动物纷纷让路。

水果摊摇晃,招牌颤抖,可以看到城市深度和规模。当他们转弯或加速时摄像机可能略微偏移或倾斜,但始终保持连续、流畅并向前移动,使速度感和动力感强烈。光照、阴影及纹理必须完全与《疯狂动物城》动画电影外观一致。

保持所有HUD元素完美稳定并锁定屏幕空间:左下角:玩家头像(来自截图)伴随体力条因冲刺而减少;右上角:圆形小地图根据移动方向轻微更新;顶部中央:任务文字「与朱迪和尼克会合 → 12米」,只是让数字 12 不断下降到 0;整个10秒必须感觉像真实、生动的开放世界游戏录制:玩家、朱迪和尼克高速穿越拥挤的《疯狂动物城》街道,以生动动画电影质量呈现,并展现强烈前进动态感。

除了大世界,我们还用 Nano Banana Pro 生成了多个不同游戏的截图。像是下面的跑跑卡丁车、街头霸王的格斗游戏、马里奥风格的跳跃游戏、还有 Limbo 类的推箱子解谜游戏。

打开网易新闻 查看精彩图片

不得不说,Nano Banana Pro 真的很强大,生成这些游戏截图的提示词虽然都比较长,但是我试过,即便精简掉很多内容,出来的效果也是差别很小。

可以参考的提示词方案:一个高度详细的开放世界卡丁车竞速AAA游戏截图,设定在迪士尼的《疯狂动物城》中。使用提供的真人照片作为主要可玩角色,将该人物转换为《疯狂动物城》风格的3D动画角色,同时完全保留面部特征。将人类玩家置于画面中心前景,坐在一辆风格化赛车中。朱迪坐在她自己的蓝色警察主题赛车中,稍微靠后并位于左侧; 尼克坐在绿色狐狸主题赛车中,稍微靠后并位于右侧。

所有角色应与其参考图像完全一致,并保持《疯狂动物城》的3D动画电影比例、阴影和材质。场景是一个明亮多彩的《疯狂动物城》赛道:弯曲道路、生动的动物主题建筑、欢呼的人形动物NPC观众、旗帜、横幅、赛道边界。添加常见的赛车竞速游戏HUD叠加层,16:9, 4K.

这些游戏的风格特别像平时刷国外的社交媒体,在推荐流里面冒出来的广告,色彩鲜艳、内容紧凑,然后还有几行字,提醒你说「不用下载,点开就能玩」。

打开网易新闻 查看精彩图片

在生成的视频里,赛道上没有多出来额外的东西,所有的赛车也一直保持在可追踪的位置,而且提示词只有六个字,「赛车比赛开始」;不过我相信这是手气好的结果。

提示词:一个连续10秒的一镜到底电影化卡丁车竞速游戏场景,设定在迪士尼的《疯狂动物城》中,从提供的起跑线截图开始。保持玩家、朱迪、尼克、他们的卡丁车、挥旗裁判以及整个HUD完全一致。

视频开始时,裁判挥动巨大的方格旗向下启动比赛。三辆卡丁车瞬间加速并避开裁判——摄像机干净利落地从裁判旁边掠过,同时卡丁车向前冲出。摄像机以紧凑的第三人称追逐角度跟随玩家的卡丁车,伴随着强烈的引擎震动、轮胎旋转和爆发式前进动作,带来强烈加速感。

当卡丁车在直路上提速时,摄像机进行动态AAA风格赛车运动:— 稍微拉高形成漂移跟拍镜头,— 然后绕到玩家卡丁车正面,以戏剧性的反向特写展示玩家、朱迪和尼克奋力冲刺,— 接着旋转至平滑高空俯视镜头,从上方跟踪三辆并排竞速中的卡丁车。

随后摄像机再次下降靠近道路,以低矮快速侧滑追踪镜头捕捉画面:轮胎贴近镜头飞驰而过,护栏擦出的火花四溅,同时朱迪尝试超越对手。接下来摄像机切换为身临其境的第一人称驾驶舱视角:高速前进,道路震动,风声扭曲,以及世界在眼前延展。玩家稍微倾斜身体精准躲避小型障碍物,然后完美右侧超越尼克的卡丁车完成一次绝佳操作。

所有角色必须与参考图片及《疯狂动物城》动画电影视觉风格完全一致。动作需具备真实物理驱动力:方向盘晃动、车辆倾斜、轮胎尖叫,引擎轰鸣。HUD始终屏幕锁定且完美呈现:右下角:速度表迅速攀升超过120公里/小时;左上角:玩家头像更新位置「2nd / 8」 → 「1st / 8」,显示超越后的排名;顶部中间:「GO!」倒计时文字自动变化然后消失;右上角:圆形小地图根据方向略有更新;底部中间:「按住空格键加速」短暂闪烁提示。

整个10秒必须呈现如同AAA级别质量的视频化《疯狂动物城》内赛车游戏片段,包括复杂相机编排、不间断动作流畅性。

如果抽到不好的结果,我们只需要在新的提示词里面添加一个 Negative Prompt,负向提示词,意思是模型不可以做的事情。

例如在这个卡丁车游戏里面,赛车经常会冲出跑道,以及扭曲的车轮或者人物,甚至是突然多出来的一辆赛车、掉转车头去新的赛道,这些都可以放在负向提示词里面。

其他的几种游戏,我们也生成了一些视频片段。

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片

疑犯追踪,刺激感拉满

除了疯狂动物城,最近 Nano Banana Pro 又多了很多新玩法,像这个疑犯追踪里面的截图。我们只用上传一张照片,就可以得到同款的视频监控大头贴。

打开网易新闻 查看精彩图片

提示词:使用上传的图像作为源,创建一个高角度的 CCTV 监控镜头。检测图像中的主要可见人物,并自动绘制一个白色矩形框围绕每个面部。对于突出的人物,添加一个大的缩放内嵌框:一个锐利、增强的特写镜头,显示在连接着细白线的浮动矩形框架中。保持主图像稍微噪点和安全摄像头(软粒度、轻微失真、颜色暗淡),而缩放内嵌框应该更清晰、更明亮、更详细。 没有文本,没有时间戳,只有盒子和连接线的叠加。保持上传图像的原始场景布局、角度和环境。

我们用这个提示词,也尝试了几张图片,效果都很不错。

打开网易新闻 查看精彩图片

而如果想要让它像电影一样,会随着人物角色的移动,这个候选框也能自动跟随,甚至会显示出他的个人信息,现在的 AI 视频也有能力做到了。

不过我们在问 Gemini 如何才能做到这种效果时,Gemini 给的答案是,现在的 AI 做不了;他还很详细地给了我完整的理由。

你目前遇到的问题,白框不跟随移动、或者动起来像纸片一样扭曲。是因为目前的 AI 视频生成工具(如 Runway, Pika, Luma, Kling)无法理解 UI 图层和画面内容的逻辑关系。

这意味着,当我们把那张带有白框的图片扔给 AI 去生成视频时,AI 并不会认为那个白框是一个「悬浮的界面」,它只会觉得白框是画在地上,或者粘在人脸上的一部分纹理。

所以当人动的时候,AI 会试图把这个白框像纹理一样扭曲,或者干脆把它留在背景里。

而要完美实现,我们想要的「疑犯追踪」效果(人走动,框跟随,放大图也跟随),Gemini 来说,单纯靠提示词是做不到的。于是,它的建议是,采用分层制作的专业工作流,即通过后期来补上去。

打开网易新闻 查看精彩图片

既然是 AI 工作流,怎么能交给后期。这是我们在可灵里面实现的效果,虽然这个突出的人物框,应该跟随着视频移动,不能遮挡到主角,但这个完成度已经非常接近目标了。

提示词:基于这张图片生成监控视频。 画面里那个穿黑西装、提红色公文包的男人正在快步向前走。 请注意: 他的脸部必须一直被那个白色的方框套住。 哪怕他走动了,这个白色的方框也要像贴纸一样死死地粘在他的脸上。 男人走到哪里,这个方框就必须跟到哪里,绝对不能掉下来,也绝对不能留在原地不动。 只要画面里有人,他的头上就必须画着这个框。 右上角的大头照和连接线也要一直显示,跟着人一起动。 保持监控那种模糊、有颗粒感的画质。

80% 是 AI,手把手教你复刻真实视频

看到这个视频的第一眼,你会怀疑这是由 AI 生成的吗?

视频来源:X@SoCal360

网友们一开始都以为这是一个 AI 视频,有专门那种检测视频是否由 AI 生成的账号,在评论区点出,这个视频有 80% 的几率是由 AI 制作。

直到原视频作者放出了另外一个角度的视频,才知道这是迪士尼为了宣传自己的剧集《波西·杰克逊》,专门做的「8D」广告,加了水花四溅的真实环境特效。

这种「打破次元壁」的特效,第一眼确实很惊艳,就像在大部分商场的裸眼 3D 刚推出时,就被很多人说是用后期制作的。

如果你也想做一个类似的 2D 视频和现实世界结合的视频,或者直接复刻这种真实的视频;其实现在的 AI 也已经能做到不少。

打开网易新闻 查看精彩图片

1. 截图视频的首帧图,要求 Gemini 提取图片的提示词。

2. 使用 Nano Banana Pro 替换大屏上的图片,生成视频首帧图。(更直接的做法是要求 Nano Banana Pro 替换广告牌上的内容就可以。)

3. 把原视频发给 Gemini,问 Gemini 如果要做一个类似的视频,应该用什么提示词。

4. 修改提示词,在视频生成模型里面多次尝试。

打开网易新闻 查看精彩图片

Gemini 同样支持上传视频进行分析

而在可灵视频生成里,我们可以直接上传视频作为参考,而不仅仅是局限于文字提示词和首尾帧图片、或者参考主体图片等。

打开网易新闻 查看精彩图片

到底该如何看待这些 AI 视频呢,《阿凡达:火与烬》还有几天就要上映了,电影导演詹姆斯·卡梅隆再次向媒体强调,在《火与烬》中没有使用生成式人工智能,并承诺《阿凡达》系列电影不会取代演员。

在他看来,AI 只是重复地使用过去的艺术品,没有任何的原创性。他特地区分了,用于后期合成视觉特效的人工智能工具,认为它们可以降低成本;而完全的生成式 AI 只会带来更广泛威胁。

打开网易新闻 查看精彩图片

AI 视频的发展,也许还复刻不了《阿凡达》。

但在大荧幕之外,它确实能让我们离想象中的「疯狂动物城」更近一步;无论是做个游戏 DEMO,还是复刻一段特效,只要我们有想法,都可以试着做自己故事的导演。

所以,别光看着那些超级创作者们的演示眼馋了,玩法和提示词都在上面,快去试试看吧!

欢迎加入 APPSO AI 社群,一起畅聊 AI 产品,获取,解锁更多 AI 新知

我们正在招募伙伴

简历投递邮箱hr@ifanr.com

✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)

打开网易新闻 查看精彩图片