AI 短剧这个赛道,工具不少,但大部分停在「文生视频」——输入一段话,生成一段画面,完了。人物换个镜头就变脸,剧情超过三集就接不上,想量产连续内容的人根本用不起来。
简介
GitHub 上有个项目专门解决这个:Toonflow:21.6k+ Star。开源的一站式 AI 短剧工厂。小说进去,剧本、分镜、角色素材、视频片段出来,全程在你自己的机器上跑。
它解决的真问题
用 AI 做连续短剧,真正的难点不是生成,是一致性和连贯性。主角在第 3 集和第 30 集必须是同一张脸,剧情改编不能脱离原著走向,几十上百个镜头的生产成本要可控。
Toonflow 的思路是把传统影视团队的工种抽象成 Agent:决策层管任务拆解,执行层管内容生成,监督层管质量审阅和修订反馈。三层之间用 Vercel AI SDK 并行协作,Socket.IO 实时推送进度。编剧、分镜、视觉统筹、视频合成各有人干,人在画布上审和改。
核心设计
一是本地向量记忆,而不是更大的上下文窗口。 它内置基于 ONNX 的本地向量检索系统,用 @huggingface/transformers 在本地做嵌入推理。角色的外貌、性格、穿搭设定存进向量库,跨会话语义召回。这是它敢承诺「主角不精分」的底层原因——不是靠每次塞一大段提示词,是靠可持久化的外部记忆。
二是章节事件图谱驱动改编。 长篇小说改短剧,直接丢给 LLM 必然 token 爆炸还改飞。它先把原著章节事件结构化抽出来存成图谱,改编时按事件精准调用上下文。同时解决成本问题和还原度问题,思路跟 RAG 同源,但用在了叙事改编上。
三是可编程供应商系统。 接新模型不用改源码:写一段 TypeScript,声明 vendor 元信息和请求函数,zod 强校验结构,扔进 vm2 沙箱执行(eval 和 wasm 都关了),保存即生效、不用重启。模型接入从「开发工作」变成「用户配置」,这个抽象值得所有做模型编排的工具抄。
四是无限画布当生产界面。 剧本、角色、分镜、素材、视频全是画布上的节点,自由排布、并行生产,不受线性流程约束。底层是 @vue-flow/core,官方为它打了补丁。
成本账
README 里的案例:约 2 小时产出约 2 分钟视频,模型调用成本约 130 元。注意口径——这是作者自报,公开演示压到了 480p,不是第三方复现数据。第三方评测核实过案例出处,但同样没复现成本。我的判断:量级可信,但你自己的管线跑起来,成本取决于模型选型和重试次数,按「每个可用镜头」算成本比按成片算更实际。
部署方案
三种跑法:
- 桌面端安装包(Windows / macOS / Linux,当前主线是 Electrobun + Bun 的 Monorepo,旧版是 Electron + Node + SQLite)
- Docker compose (数据在 toonflowData 命名卷)
- 云服务器
数据安全:数据全在本地,剧本和素材不出你的硬盘。
三条边界说清楚:它本身不内置模型,LLM、图片、视频三类 API 要自备,重度使用成本算进预算;官方 README 明确业务界面和 API 没有独立登录鉴权,别直接暴露公网,远程走 SSH 隧道;开源协议当前主线是 MIT,但旧版本有 AGPL-3.0 和 Apache-2.0 的历史,许可变更不溯及既往,商用前以仓库当前 LICENSE 文件为准。
最后
- 三层 Agent 分工模板:决策层拆任务、执行层出内容、监督层审质量——比「一个 Agent 干所有事」稳,角色边界照抄
- 外部记忆 > 长上下文:角色设定、世界观这类需要跨会话保持的东西,存向量库做语义召回,别把希望全押在上下文窗口上
- 供应商即代码:模型接入层做成「一段脚本 + 沙箱执行 + 保存即生效」,接新模型从发版变成配置
项目地址:github.com/HBAI-Ltd/Toonflow-app,国内有 Gitee 镜像,也有在线体验站。
建议:做短视频内容的人直接部署试产,做 AI 工作流的人读它的记忆系统和供应商沙箱设计。
你在用 AI 做连续剧情内容吗?卡在角色一致性还是成本上,评论区聊聊。
热门跟贴