一个Temporal工作流可以跑几分钟、几天甚至几个月,而它背后的代码在这期间会变。Temporal给出的约束是工作流代码必须保持确定性:每当worker接手一个工作流,它都会拿记录下来的历史重放代码,代码必须做出和第一次相同的决策。
有人把这个问题做成了可操作的实验版本:如果在一百个工作流跑到一半时部署新代码,哪些会坏、什么时候发现、坏掉的工作流长什么样、常用的补救手段里哪个真的管用?
实验全部跑在Temporal CLI的本地开发服务器上,版本1.10.1,Server 1.32.2,Python SDK 1.36.1。工作流共八个步骤,每一步是一个activity,每步之后工作流休眠15秒,单次运行约两分钟。每个activity返回前会往日志文件追加一行,用来精确统计到底跑了什么。
新版本只加了一样东西:在第4步之后插入一个audit activity。这是很常见的一类改动——在既有流程中间加一次调用。每个场景都在60秒内启动100个工作流,让它们分布在各個阶段,然后在第一个工作流启动70秒后更换worker。
直接重启:越过改动点的工作流全坏
停掉旧worker、启动新worker,工作流按进度被干净地分成两拨:
- 58个还没走到第4步,它们用新代码继续跑,执行了一次audit并完成。
- 42个已经跑完第4步,这42个全部坏掉。
42个报的是同一个错:[TMPRL1100] Nondeterminism error: Activity machine does not handle this event: HistoryEvent(id: 44, TimerStarted)。历史记录显示第4步之后工作流启动了一个定时器,而新代码重放这段历史时想调度audit activity,两者无法调和,worker拒绝继续。
这些失败没有发生在部署那一刻。每个工作流是在下一次定时器触发、新worker不得不重放它时才失败的,时间落在切换后0.2到14.6秒之间。
坏掉的工作流看起来不像坏了
42个工作流全部停留在Running状态,直到这次运行结束,大约六分钟,而且会一直停在那里。Temporal把不确定性错误当作失败的工作流任务,而不是失败的工作流,会持续重试这个任务,指望有修好的worker出现。到结束时,每个工作流都重试到了第9或第10次。
历史记录里也不明显。每个坏掉的工作流只有一个WorkflowTaskFailed事件,无论后面重试了多少次。重试只体现在待处理任务的尝试计数和worker日志的警告里。一个统计失败工作流的看板,会显示零。
滚动部署更糟
接着让新旧worker并行跑一分钟再停掉旧的,模拟滚动部署。预期是新worker逐步接手,结果它什么都没跑——没有一个工作流任务,也没有一个activity。
工作流会留在已经把它载入内存的那个worker上,所以旧worker继续用旧代码跑着所有工作流,径直越过第4步。等它停下,新worker必须重放所有仍在运行的工作流,其中83个坏了,时间在新worker启动后60到75秒之间。只有重叠期间跑完的17个完成了。
重叠没有起到缓冲作用,只是让更多工作流越过了新代码产生差异的那个点。
patched()才是管用的那个
Temporal文档给出的办法是给改动加保护:if n == 4 and workflow.patched("audit-after-4"): await audit()。工作流第一次跑到这段代码时,patched()返回true并在历史里记下一个标记;worker重放没有标记的历史时它返回false,工作流走旧路径。
同样的重启方式,100个全部完成。没到第4步的58个执行了audit,已经越过第4步的42个按历史记录跳过,没有一个工作流任务失败。
回滚会让另一批卡住
假设没打补丁就发布了,看到报错再回滚。在错误部署80秒后切回旧代码:那42个卡住的工作流恢复了,历史重新与旧代码匹配,它们完成。但此时已有58个工作流跑过新的audit步骤,其中8个已经结束,另外50个的历史里多了一个旧代码不认识的audit,轮到它们坏掉:[TMPRL1100] Nondeterminism error: Timer machine does not handle this event: HistoryEvent(id: 44, ActivityTaskScheduled)。
部署加回滚,100个工作流里有92个在某个时刻撞上了不确定性错误。
事后打补丁也救不回来
更自然的下一步是向前修复:在坏版本之上部署打了补丁的版本。同样在80秒后替换,结果与回滚逐项一致。42个旧形态的工作流没有标记,patched()让它们走旧路径并完成;跑过未打补丁audit的那50个也没有标记,因为未打补丁的代码从不写标记,patched()对它们同样返回false,代码跳过了一次历史里说发生过的audit,于是它们坏了。
没有任何一个代码版本能同时满足这两组工作流。两份历史都没说明自己是哪份代码产生的,而patched()只认打补丁的代码写下的标记。
重置能救出来,但会重跑
那50个工作流的出路是重置。Temporal可以把工作流回退到更早的一个工作流任务,丢弃之后的一切,用当前代码重跑剩下的部分。把每个工作流重置到调度那次未打补丁audit的任务,由打了补丁的worker执行,50个全部在80秒内完成。
但重置意味着重跑,日志证实了这一点:50次audit跑了第二遍,第4步之后的步骤也重跑了一遍,175次步骤执行是已经发生过的重复。只有重置点之后的一切都能安全跑两次,重置才是安全的。
在其他所有场景里,没有任何东西跑两遍。卡住的工作流就是停住,这是整件事里唯一让人安心的地方。
几条可以带走的结论
- 工作流步骤序列的每一次改动,从第一次部署起就需要workflow.patched()。它是这里唯一既不丢东西也不重复的选项。
- 不要指望回滚或事后补丁来撤销一次未打补丁的部署,两者都是救下一组、弄坏另一组。
- 告警要盯工作流任务失败或不确定性警告,而不是失败的工作流——坏掉的工作流一直显示Running。
- 新旧worker并行不会把工作流迁到新代码,只会让它们沿旧路径走得更远。
- 如果必须重置,就假定重置点之后的一切都会再跑一遍。
实验者也记录了自己判断失误的地方:本以为滚动部署是温和选项,结果新worker在重叠期间一个任务都没跑;本以为回滚是安全的撤销,但它只在期间没有任何东西跑在新代码上时才成立,而定时器每15秒触发一次,80秒里跑过的东西足够多。另外他最初的分析报告说工作流在部署前两小时就失败了,原因是把事件时间戳按本地时间转换,而他的笔记本比UTC快两小时,改读原始秒数后修正。
需要说明的边界:这是Python SDK在本地开发服务器上的结果,只测了一种改动——在中间加一个activity。删掉一个步骤会以它自己的方式坏掉,而早前的文章显示,调整activity顺序或修改超时根本不会触发这项检查。每个场景只跑了一次,也没有尝试Temporal的worker版本管理功能——它把运行中的工作流固定在其启动时的构建上,正是为这个问题设计的。
热门跟贴