金磊 发自 凹非寺
量子位 | 公众号 QbitAI
发布不到2天，那个号称“下一代”文生视频的Dream Machine（来自Luma AI），大大大大翻车。
原本宣传中的效果是这样的：
视频地址：https://mp.weixin.qq.com/s/tIfK4Ak2SNmE5nRtRBY44A
效果之惊艳，令人直呼“忘掉Sora”、“影视级水平”，并且Luma也是相当自信地表示“在线免费可玩”。
然而……当网友们纷纷前去尝鲜之后，得到的结果却是大跌眼镜。
例如给Dream Machine“投喂”一张OpenAI的一张合影：
结果它生成的视频是这样的：
视频地址：https://mp.weixin.qq.com/s/tIfK4Ak2SNmE5nRtRBY44A
是的，打起来了，而且人物的畸变也是相当离谱。
网友们也是忍俊不禁，调侃地说道：
我们终于知道去年OpenAI发生了什么。
再“投喂”一张奥特曼、老黄和Brockman的合影：
Dream Machine这次给出的结果是：
视频地址：https://mp.weixin.qq.com/s/tIfK4Ak2SNmE5nRtRBY44A
没错……又打起来了。
（Dream Machine好像很暴力的样子）
虽说Dream Machine生成视频的效果和剧情有些离谱，但爱整活儿的网友们却是坐不住了，直接开辟了一个新赛道。
让表情包“活”起来
或许Dream Machine这种“不走寻常路”的风格，跟表情包的气质很搭，现在网友们更乐于让AI“续写”表情包：
AI让memes栩栩如生。
Luma的Dream Machine可以当成Meme Machine了。
例如这张非常经典的表情包，在Dream Machine的加持下，后续的故事就谱写出来了：
然而还有更drama的版本——顺手牵羊：
男主角还从一名白人直接变成了三哥……
我们经常用到的“狗头”表情包，也在Dream Machine之下活了起来：
还有“淡定姐”和“励志哥”：
不难看出，Dream Machine被网友们吐槽翻车的最大问题，就是在于无法保证视频内容的连续性。
尤其是在生成人物方面，前后帧直接变人种、变性别的概率比较高。
因此，也有网友建议：
使用Luma最好的方法，就是先用Midjourney这样的工具生成关键图片，然后再用Luma对其处理。
然而，说到AI翻车，Luma的Dream Machine并不是个例。
SD3开源也秒翻车
前两天Stable Diffusion 3开源的消息也是让不少的网友们兴奋了一把。
但在亲自体验过后，很多人却直呼离了大谱。
例如生成一个躺在草地上的女孩，结果“打开方式”是这样的：
而且不是个例，只要是和人（整体）相关的内容，生成结果都有点掉san。
虽然在生成其它方面SD3的效果还是能让人满意，但它和Dream Machine一样，总是处理不好人类。
有人发现，如果细看“躺在草坪上的女孩”这张图像，会发现它在局部细节上确实还可以，甚至很棒。
草地上的影子、衣物上反射的光线、头发的质地……都遵循了物理规律。
但人物整体就不敢恭维了。
不少网友都认为，这就是问题的关键。
我认为他们的NSFW过滤器，把所有人类图像都判定为了NSFW。
这个过滤器全称是filtering out adult content，作用在于过滤掉不合规的成人内容。
SD2发布时就出现过类似的问题，研究人员发现审查这部分内容可能影响了模型对人体结构的理解。
后面的SD2.1和SDXL版本在这一问题上有所缓解。
这次SD3的翻车，暴露了一个问题：过于严格的数据审核，可能误删了一些无害的成人图像，所以现在模型没法理解人体结构。
总而言之，无论是Dream Machine还是SD3等，AIGC应用工具还需要不断加强和完善。
不过若是对整活表情包感兴趣的小伙伴，现在就可以去试试了：
https://lumalabs.ai/dream-machine
参考链接：
[1]https://x.com/lumalabsai/status/1800921380034379951?s=46&t=6eepxw1G6XRQ7VO0ANjJWg
[2]https://twitter.com/minchoi/status/1801338536597274999
[3]https://x.com/emollick/status/1801474104182390803
热门跟贴