大家好我是思凡,自媒体AI应用研究者,最近一年来短视频里面各种AI小说漫画推文特别火,流量非常好,就是把故事、小说剧情这样的长文本转化为漫画视频呈现(通过小说推文变现尤盛)。

但是之前想要完成这一流程会比较复杂,需要先把小说整成适合做分镜的文字描述,再根据这些文字描述,去一张一张生成所需要的图片。整个流程下来还是比较繁琐的。

用国外AI绘图网站门槛很高,一个分镜一个分镜做的方式也可以,还可以一个分镜一个分镜做视频,最后拼接起来,但是花费的时间精力是完全不对等的。

打开网易新闻 查看精彩图片

今天这个专辑就是针对长文本连续绘图转视频领域的一个摸索。单张图片和单个小视频制作(包括文生视频或图生视频)都不在这次摸排范围之列。所以我们暂且忘掉Sora、Stable Video、Runway、Pika、pixverse。

国内上线现有:巨日禄AI

国内上线于2023年10月,深耕该领域,坚守在网页端的,基于SD的长文本AI绘画转视频服务,服务了很多推文达人、各类故事短片、短视频博主的制作神器。比较成熟,已经开始在动态视频领域有所突破。

巨日禄AI长文本转AI绘画及AI视频创作平台
打开网易新闻 查看精彩图片
巨日禄AI长文本转AI绘画及AI视频创作平台

产品标签:AI绘图、文生图、AI视频、文生视频、小说推文、AI漫画推文、一键成片

打开网易新闻 查看精彩图片

体验感受:

1、特别赞的是,工作流还原了推文达人的制作过程。

2、对角色和场景的提取,辅助角色和场景固定。

3、画风众多,适用不同的题材和类型,20多个画风,并持续优化更新中,古现代男女频,甜爽恐玄都能找到适合的。图片是4:3,目前80%的推文都已经变成这个比例了。

4、字数6000字,每个分镜好像是200字?满足大部分需求,希望还可以加长。配音演员的情感配音很赞!可以选择不同的情感,愤怒、疑惑、开心等。

5、整体操作下来比较丝滑,同时也给了很多选择的空间,比如选择AI写提示词、角色的细节刻画、选择画动物、选择不同音色、选择导出剪映等等。

每个分镜都可以个性化调整,以及生成动态小视频
打开网易新闻 查看精彩图片
每个分镜都可以个性化调整,以及生成动态小视频

国外对标:StoryDiffusion

来自南开大学和字节跳动的研究团队提出了一种名为StoryDiffusion的创新方法,通过一致自我注意力和语义运动预测器,实现了高度一致且连贯的图像和视频生成,为视觉故事创作带来了全新的可能。

不过看完我整一个抠脑袋,至少可能还不是我等老百姓能用的。期待赶紧惠及国内用户。

打开网易新闻 查看精彩图片