一个定居者家庭，正在欣赏一群野牛，当两只恶魔般的有翼生物从头顶飞过时，他们开始奔跑。小女孩像幽灵一样穿过了栅栏柱。
这个超现实的五秒场景是通过AI平台Runway中名为Motion Sketch的新功能创建的。顾名思义，它可以从你直接在静态图像上制作的简单涂鸦生成视频。
在下面的片段中，我首先使用谷歌的Nano Banana Pro生成了一张图像——这是通过Runway平台提供的文本转图像模型之一——然后简单地画了一些鸟形状状和两个箭头，指示家庭和野牛应该逃跑的方向。我添加了一些文本提示作为额外指导，模型完成了其余工作。
该功能仍然需要一些人工引导，就像ChatGPT经常需要多个精心制作的提示才能生成你想要的输出一样。尽管如此，它可能标志着AI生成视频的一大进步，对于更喜欢视觉思维而非语言思维的创意行业专业人士来说尤其如此。
"这个功能对所有类型的用户都有帮助，"Runway产品经理Aditi Poduval告诉ZDNET。"最终，我们帮助人们获得精确的运动效果，而无需制作特定的书面提示。"
以下是我在尝试Motion Sketch后学到的经验。
实际体验过程
在对那个疲惫定居者家庭图像的初次实验后，我决定进一步提升涂鸦的程度。
我使用文本提示生成了家庭图像。但通过Runway的Nano Banana Pro也可以仅基于涂鸦创建图像，你可以直接在平台上制作，就像Microsoft Paint一样。我是作家，不是视觉艺术家，但我尽力画出了我希望看起来像是悬挂在树枝上的蛇的东西。
然后，我转向Motion Sketch。如前所述，在定居者家庭实验中，我通过在涂鸦之外添加一些文本提示与模型配合，但这次我想看看它在没有任何书面指导的情况下表现如何。我希望生成蛇向右爬行的片段，所以沿着它的身体长度画了一些简单的运动指向箭头。任何六岁孩子都能理解这些箭头的含义，但AI表现如何呢？我设置长度为10秒，选择了Runway的Gen-4.5视频模型（谷歌的Veo 3和Veo 3.1也可用），然后点击生成。
我期望一个相对平滑的蛇沿着树枝移动并从镜头右下角退出的片段，但得到的结果更加奇幻。蛇在镜头左侧留下了部分身体，另一条蛇从其体内出现并从树上掉落。在某一时刻，它似乎长出了鳄鱼般的脚，用来沿着树枝拖拽自己。我画的原始箭头也在片段开头短暂出现，然后消散。
公平地说，蛇是生物奇迹，准确建模它们的运动对任何动画师——无论是人类还是机器——都不是小任务。模型似乎将我的多个箭头误解为蛇同时向多个方向移动的指令，这显然让它困惑了。所以我回去在原始图像上添加了简单的文本提示："蛇沿着树枝爬行。"
这次的最终产品更接近我的预期（没有突然的蛇身体复制或腿部萌生）。运动仍然看起来别扭，但同样，蛇的运动是一个相当高的要求，涉及许多复杂的细粒度物理。
再一个实验：我想看看模型与真实照片配合得如何，所以我从笔记本电脑上传了一张：几个月前我在布鲁克林Prospect Park拍摄的照片。
我画了基本上是火的通用图标：向上辐射的波浪红线，内嵌橙色。再次声明，我不是天才插画师，但大多数人都能认出我想要表达的内容。Runway的模型也识别了这一点，在我照片捕获的宁静湖边场景中心投下了一个巨大的篝火。同样，我的草图在片段中短暂出现，然后在逐渐缩短的波浪线的迷幻运动中消失。也许是我的想象，但篝火旁边的树木甚至似乎在其热量下变黑。
使用体验和前景
像任何其他生成式AI工具一样，Motion Sketch有其不完美之处和故障（小女孩穿过木梁、蛇长出腿、我原始草图的波浪线在最终视频片段中短暂出现）。尽管如此，我印象深刻。
这里展现的是用AI生成视频的全新格式，可能比以往任何时候都更能降低想象与制作之间的障碍。"这就是我一直在等待的，"一位X用户在Runway周二公告下发帖。"画出你的愿景然后观看它渲染为视频？对于无法终生进行提示工程的创作者来说，这绝对是游戏改变者。"
现在，如果你有特定愿景，它仍然需要相当多的试错，但同样，这是对未来可能性的令人兴奋的预览。绝对值得尝试，即使——也许特别是——如果你只是本着创造性精神进入，心中没有清晰的愿景。
Motion Sketch至少需要Runway的标准订阅，费用为每用户每月12美元，包含625个月度积分。
要从用户仪表板访问，点击左侧菜单中的"App"，然后在"Explore Gen-4.5"收藏下或屏幕右半部分预览窗口下选择Motion Sketch，你会看到标有"Try it now"的按钮。
从那里，只需上传你的图像并点击"Sketch"→"Export sketch"→Generate。
Q&A
Q1：Motion Sketch是什么？它有什么功能？
A：Motion Sketch是AI平台Runway推出的新功能，可以从用户直接在静态图像上制作的简单涂鸦生成视频。用户只需在图像上画出简单的线条和箭头指示运动方向，AI就能生成相应的视频片段。
Q2：使用Motion Sketch需要什么条件？费用如何？
A：Motion Sketch至少需要Runway的标准订阅，费用为每用户每月12美元，包含625个月度积分。用户可以从仪表板的"App"菜单进入，选择Motion Sketch功能开始使用。
Q3：Motion Sketch生成的视频效果如何？有什么局限性？
A：Motion Sketch能够识别简单的涂鸦并生成对应的视频效果，但仍有不完美之处，比如物体可能出现穿透现象或意外变形。复杂的运动模拟仍然具有挑战性，通常需要多次尝试和文本提示辅助才能获得理想效果。
热门跟贴