一个看起来足够像的第一帧,并没有换来一段足够像的Rumpelstiltskin AI视频。早期测试里,画面保住了脸,视频模型一上来就把它重画了。另一次测试里,脸撑到了镜头下移,然后人物的头直接出了画。

这是团队用Claude Code辅助调参的一段记录。实验记录于2026年10月10日至11日。样本很小,不是通用模型评测。产品交付和实验工具是两回事。

打开网易新闻 查看精彩图片

从一张“嘘”的特写开始

起点是一张特写“shh”帧,然后对比不同的图像编辑路线。Seedream 4.0 Edit在这一轮给出了可用的起点,但改提示词立刻暴露出一个取舍。

服装、年代片、角色描述加得越多,氛围越好,人却越不像。有一次修改把测试脸推向另一种性别呈现。下一次修改简化了描述,明确保留发型和成年面部特征,只留下真正重要的视觉细节。

胶片颗粒被挪到本地后期处理。它没必要在图像提示词里和身份指令抢位置。

测试用的是生成的成年测试肖像,以及一些退化变体,而不是一张理想自拍。ArcFace分数用来比较本地迭代,但那只是测试集上的诊断测量,不是“观众能认出某人”的概率。

四种失败,各有各的死法

早期视频实验尽量用同一张起始图。失败很具体:

  • 脸被重画,第一帧的相似度没被继承;
  • 镜头移动后,人物头部离开画面;
  • 身份在运动过程中漂移;
  • 多镜头之间的角色归属发生错位。

这些观察解释了为什么要改变任务的表示方式。往原提示词里再加一个形容词,解决不了这四种失败。

更有希望的做法,是把原料拆成五个可复用资产。对每张输入照片,图像编辑步骤用照片、服装和鞋子生成一张全身定妆照。这张定妆照保持竖版,哪怕最终输出是横版:它是人物和服装的参考,不是视频的第一帧。

七个参考图,顺序就是合同

视频调用按固定顺序接收七个参考。下面这个简化映射只展示角色分工,不是可直接运行的API请求:

  • @Image1:人物照片,负责身份;
  • @Image2:定妆照,人物穿着这套服装;
  • @Image3:服装参考;
  • @Image4:第二个角色,虚构的成年人物;
  • @Image5:鞋子参考;
  • @Image6:谷仓参考;
  • @Image7:黄金参考。

这个顺序是模板契约的一部分。提示词会明确引用这些位置,交换两张图,就可能改变哪张脸、哪套服装属于哪个角色。

记录中的单人路线使用服务商的Seedance 2.0 Mini参考图模式,请求13秒、720p、不生成音频。它没有在参考列表之外再传一张首帧图。在集成测试里,把两种输入模式混在一起会产生参数错误。

团队查看参考视频,写下时间点笔记。原始素材没有作为生成输入,也没有被剪进生成结果。

提示词描述了15个带时间的镜头:走近、“shh”特写、反应镜头、夸张咧嘴笑、舞蹈动作、鞋子特写,以及结尾。共享块描述身份、服装、场景和视觉风格。提示词构建器在每个镜头里重复相关块,而不是假设模型会把每个细节自动带下去。

结果依然是近似的。被接受的横版实验从15个镜头的计划里检测出大约12个镜头。几个很短的节拍被合并了。明确的时间点给出的是更有用的序列,不是逐帧精确的剪辑控制。

一次通过,不等于可靠

这个版本被接受后,交付把两个提示词和五张共享图当作一个带版本的模板。改动这七个文件中的任何一个,都意味着新版本,以及再一次横版/竖版检查。

竖版实验换了另一张测试脸,带眼镜和胡子,视频提示词和参考方案保持不变。两者都保留在复核结果里。这是第二个有用的验证案例,不是“对所有脸都可靠”的证据。

工作流大致是这样:输入照片加服装加鞋子,生成全身定妆照;照片、定妆照再加五个共享资产,进入一次多镜头视频生成;然后由FFmpeg做裁剪、构图、胶片质感和静音MP4输出,最后是技术检查和复核。

FFmpeg负责裁剪、缩放/裁切、像素格式和胶片处理。联系表让检查序列更容易,不必为了每次对比重放整段视频。调参输出是静音的;音乐包装是另一个产品问题。

实验运行器还会在付费调用前检查支出限额,记录提示词版本和请求参数,并把报告的额度与余额变化对账。当一条命令在任务已经提交后被中断时,这一点很重要:停掉本地进程,不等于没有产生费用。

在被接受的单人路线里,记录的生成组件成本是定妆照10 credits,视频106.6 credits。共享资产创建和更早的实验是另外的成本。这些数字描述的是那些运行,不是当前报价,也不是完整交付成本。

最初的评分方法把太多视频当成“上传的人应该处处可见”。第二个角色的反应镜头于是看起来像身份失败。宽镜头、夸张表情和错过的切点也扭曲了结果。

团队尝试了镜头感知评分,包括……