ECCV 2026 | CLARITY：面向肿瘤治疗决策的医疗世界模型，在潜空间中模拟疾病演化|mri|医学|放疗|美国临床肿瘤学会|肿瘤治疗

近年来，医学 AI 在影像诊断、报告生成、风险预测和医学问答中取得了很大进展。但在真实临床治疗决策中，一个更核心的问题并不是“这张片子对应什么标签”，而是：如果采用不同治疗方案，患者未来的疾病状态会如何演化？哪一种治疗路径能够带来更好的长期生存收益？

围绕这一问题，我们提出了 CLARITY: Medical World Model for Guiding Treatment Decisions by Simulating Context-Aware Disease Trajectories。CLARITY 是一个面向肿瘤治疗规划的 medical world model。它不再只做一次性的静态预测，而是在 latent space 中模拟 treatment-conditioned disease trajectories，并通过 survival-aware feedback 反过来优化 Therapy Policy Agent 生成的治疗方案。

论文题目： CLARITY: Medical World Model for Guiding Treatment Decisions by Modeling Context-Aware Disease Trajectories in Latent Space 论文链接： https://arxiv.org/abs/2512.08029 代码链接： https://github.com/DingTianxingjian/CLARITY 项目主页： https://dingtianxingjian.github.io/clarity-project-page/

在本次工作中，我们提出了一个用于肿瘤治疗决策的 latent medical world model。给定患者的 pre-treatment MRI、临床上下文、时间间隔以及候选治疗方案，CLARITY 学习预测治疗后的 latent disease state，并进一步估计 survival risk。不同于直接合成未来医学图像的 diffusion-based medical world model，CLARITY 直接在结构化 latent space 中建模疾病状态转移，从而更高效、更稳定地支持多步治疗规划。

一、背景：为什么治疗决策需要 world model ？

很多现有医学 AI 系统仍然遵循静态预测范式：输入一张影像或一组临床变量，输出一个诊断标签、风险分数或生存概率。这个范式在分类、检测、分割和单点预后任务中有效，但它并不能真正回答治疗规划中的核心问题。

肿瘤治疗天然是一个sequential decision-making problem。患者在接受放疗、化疗、免疫治疗、靶向治疗或 salvage therapy 后，疾病状态会随时间变化；不同治疗组合可能诱导完全不同的病程演化路径。因此，临床医生真正需要推理的是一个 counterfactual question：

如果当前患者接受某一种治疗，未来的疾病轨迹会如何变化？如果换成另一种治疗，长期生存风险会不会更低？

这正是 world model 适合解决的问题。在机器人和强化学习中，world model 通过学习状态转移函数，使 agent 可以在内部“想象”未来，然后基于 imagined trajectories 规划动作。将这个思想迁移到医学场景中，核心就变成了：

当前患者状态 + 治疗方案 + 时间/临床上下文 → 未来疾病状态

但医学 world model 面临几个特殊挑战。第一，临床 follow-up 时间间隔不规则，不能简单按固定时间步建模。第二，疾病演化受到影像、基因组、人口学变量和治疗历史等多模态因素共同影响。第三，治疗决策不仅需要预测未来状态，还需要评估 survival risk。第四，直接生成未来医学图像计算代价高，而且容易引入 reconstruction noise 和 representation drift。第五，医学治疗方案不能由 LLM 自由生成，必须满足临床安全约束。

CLARITY 正是围绕这些问题设计的。

二、CLARITY 的核心思想：从“预测一个结果”到“模拟多条未来轨迹”

传统临床 AI 通常把患者当前影像映射到一个单一输出，例如“高风险/低风险”或“推荐某个治疗”。CLARITY 的思路不同：它先构建患者当前疾病状态的 latent representation，然后在不同候选治疗方案下进行 counterfactual rollout，模拟多条可能的未来疾病轨迹。直观来说，CLARITY 学习的是这样一个映射关系：

这里，表示当前 MRI 对应的疾病状态，表示两次随访之间的时间间隔，therapy 表示候选治疗方案，表示模型预测的治疗后疾病状态。

这里可以看出 CLARITY 的关键区别：它不是直接预测一个标签，而是在患者特异性的上下文中预测“疾病状态如何被治疗方案改变”。

三、方法概览：CLARITY 包含哪些模块？

CLARITY 主要由四个部分组成：MRI Encoder、Therapy Policy Agent、Actor，也就是 Diseases Evolution Model，以及 Inverse Survival Evaluation。

3.1 MRI Encoder：把 3D MRI 编码为 latent disease state

CLARITY 首先使用 MRI-specific foundation model 将 pre-treatment 3D MRI 编码为 compact latent visual state。为了让预训练 MRI 表征适应 longitudinal disease modeling，我们在 frozen backbone 上使用 LoRA 进行参数高效微调。

这个 latent state 可以理解为患者当前疾病状态的数学表示。它保留了影像中与解剖结构、病灶区域和疾病进展相关的重要信息，同时避免直接在高维像素空间中进行昂贵预测。

3.2 Therapy Policy Agent：生成候选治疗方案

CLARITY 使用多模态大语言模型作为 Therapy Policy Agent，根据患者的临床上下文生成候选治疗动作。每个动作被表示为结构化的治疗方案，可包含 chemotherapy、external radiotherapy、brachytherapy、immunotherapy 以及 additional/supportive therapy 等多个组成部分。

需要强调的是，Therapy Policy Agent 并不是在开放式文本空间中自由生成治疗决策。其输出受到 guideline-informed 规则约束，包括药物组合、放疗剂量范围、分割方案以及与既往治疗史之间的冲突关系。通过这种设计，LLM 主要负责在受限空间内提出潜在候选方案，而最终生成的 action 仍然保持在结构化、临床合理的医学决策空间中。

3.3 Actor：Disease Evolution Model

Actor 是 CLARITY 的核心 world model。它接收四类输入：pre-treatment visual latent state、clinical context、temporal interval embedding 和 therapy embedding，并预测治疗后的 latent disease state。

Actor 包含两个子模块。第一个是 Post-Treatment Latent Predictor，用来预测治疗后疾病状态；第二个是 Survival Predictor，用来根据预测的疾病状态估计 one-year survival probability 和 continuous risk score。

为了训练 Actor，我们使用了四类监督信号：

Latent consistency loss：约束预测的 post-treatment latent 与真实 post-treatment MRI 编码接近。
Soft-label contrastive loss：让语义相似的治疗方案产生相近的 latent transition。例如，机制相近的治疗不应该被粗暴地当成完全无关的 hard label。
Brier loss：校准 one-year survival probability。
Cox partial likelihood loss：学习患者之间的 survival risk ranking。

如果用一句话概括，CLARITY 的训练目标就是：预测未来疾病状态，同时保证这种预测能服务于生存风险评估和治疗排序。

四、Inverse Survival Evaluation：从预测到决策的闭环

如果只让模型评估一批候选治疗方案，我们得到的是 Direct Survival Evaluation：Therapy Policy Agent 生成若干候选方案，Actor 分别模拟每个方案的 latent trajectory，并输出 risk score。

但治疗规划本质上不是一次性选择，而是一个迭代修正过程。因此，CLARITY 提出了 Inverse Survival Evaluation，将 survival risk 作为 structured feedback 反馈给 Therapy Policy Agent，让它在下一轮生成更低风险的治疗候选方案。

整个过程可以概括为五步：

Therapy Policy Agent 根据患者信息生成初始治疗候选方案；
Actor 模拟每个方案下的未来疾病状态；
Survival Predictor 给出每条轨迹对应的 risk score；
risk score 被反馈给 Therapy Policy Agent；
Agent 根据反馈更新治疗候选方案，并重复若干轮。

这个闭环的意义在于：CLARITY 不只是“生成一个治疗建议”，而是让模型在 imagined disease trajectories 上进行迭代搜索。它既保留一定探索性，又逐步把候选方案推向更低风险的治疗路径。

五、数据集：跨脑肿瘤和乳腺癌的 longitudinal MRI evaluation

为了验证 CLARITY 的有效性，我们使用了三个 longitudinal cancer datasets。

第一个是 MU-Glioma-Post。该数据集包含 203 名患者和 654 次 MRI follow-ups，并包含治疗记录和 genomic annotations。我们在 patient-level 上划分训练、验证和测试集，以避免 temporal leakage，并进行 5-fold cross-validation。

第二个是 UCSF-ALPTDG。这是一个成人弥漫性胶质瘤 longitudinal post-treatment MRI 数据集，包含 298 名患者。我们将其作为 zero-shot external validation：模型只在 MU-Glioma-Post 上训练，并直接在 UCSF-ALPTDG 上测试，不进行 finetuning。这个设置主要用于验证模型在外部中心和新患者群体上的泛化能力。

第三个是 ISPY-2。该数据集包含 985 名高风险乳腺癌患者，具有 longitudinal MRI scans、多时间点治疗记录和分子分型信息。我们在该数据集上独立训练和评估 CLARITY，以验证该框架是否可以从 neuro-oncology 扩展到 breast cancer treatment response modeling。

5.1 实验结果一：CLARITY 在 treatment exploration 上优于多类 baseline

我们首先评估模型生成和选择治疗方案的能力。对比方法包括 general LLMs、medical-domain models，以及 re-implemented MeWM-style baseline。

在 MU-Glioma-Post 上，CLARITY 达到 57.1% F1，明显优于 Huatuo-Vision 的 46.4% F1 和 MeWM-style baseline 的 43.6% F1。

在 UCSF-ALPTDG zero-shot external validation 上，CLARITY 取得 50.2% F1，同样优于最强 baseline 的 44.1% F1。

在 ISPY-2 breast cancer dataset 上，CLARITY 取得 53.9% F1，也优于 Huatuo-Vision 的 48.7% F1。

这些结果说明，单纯依赖 LLM 或 medical MLLM 直接进行治疗预测并不充分。CLARITY 的优势来自于把 MLLM 放入一个 simulation-to-decision loop 中：LLM 负责提出候选方案，world model 负责基于患者影像、临床信息和时间上下文评估这些方案的未来风险。

5.2 实验结果二：CLARITY 在 survival prediction 上取得更好的风险分层能力

除了治疗方案预测，我们还评估了 survival analysis。CLARITY 的 Survival Predictor 输出 continuous risk score 和 one-year survival probability，因此可以用 C-index、Brier score 和 Kaplan–Meier curves 等指标评估。

Kaplan–Meier 分析进一步显示，CLARITY 能够更清楚地区分 high-risk、medium-risk 和 low-risk 患者群体。与 MeWM-style baseline 相比，CLARITY 的风险分层曲线分离更明显，curve crossing 更少，log-rank p-value 更低，说明模型学到的 latent disease dynamics 与患者生存结局具有更强关联。

5.3 实验结果三：CLARITY 可以模拟多阶段治疗决策轨迹

CLARITY 的一个重要能力是 multi-stage decision trajectory simulation。模型可以从 baseline MRI state 出发，在多个 follow-up stage 上生成候选治疗分支，并选择累计 survival risk 最低的路径。

例如，在一个模拟轨迹中，模型可以从标准治疗 RT + TMZ 出发，随后根据风险反馈切换到 TMZ maintenance，再进入 CCNU，最后在 salvage stage 选择 Avastin + Brachytherapy。这样的路径并不是简单地预测一个单步标签，而是把治疗决策建模为随时间变化的 sequential planning problem。

这也是医疗 world model 的核心价值：它允许模型在 imagined disease trajectories 上进行推理，而不是只对当前时刻做静态判断。

5.4 Latent-based vs Diffusion-based

相较于 diffusion-based approach，CLARITY 的 latent-based predictor 在计算效率上有明显优势。

Diffusion-based 1000-step simulation 需要约 61.3 TFLOPs 和 38.6 秒；500-step simulation 仍需要约 39.5 TFLOPs 和 19.7 秒。而 CLARITY 的 latent-based method 只需要约 4.21 TFLOPs 和 0.341 秒。

这对于 Inverse Survival Evaluation 非常重要。因为 feedback loop 需要多轮候选治疗方案评估，如果每次都依赖昂贵的 diffusion sampling，整个决策过程将很难实际运行。

此外，CLARITY 的 latent-based prediction 也显著降低 representation drift。Diffusion-based reconstruction 会经历“生成图像—重新编码”的中间步骤，这可能引入额外噪声；而 CLARITY 直接预测 post-treatment latent state，因此更适合 downstream survival evaluation。

5.5 可解释性分析：latent state 是否真的包含疾病演化信息？

一个自然问题是：如果 CLARITY 不直接生成图像，那么它的 latent state 是否真的代表了可解释的疾病变化，而不是抽象噪声？

为此，我们训练了一个辅助 diffusion decoder，仅用于分析 predicted latent states 中包含的信息。通过将 predicted post-treatment latents 解码回 MRI pixel space，我们可以检查 latent dynamics 是否保留了宏观解剖结构和病灶相关变化。

结果显示，decoded latent representation 可以较好保留患者的 global brain structure 和 clinically relevant pathological changes。定量指标上，模型取得较高 PSNR 和 SSIM，同时 FID 和 LPIPS 也表明 latent space 捕捉到的是语义层面的疾病演化，而不是简单的 identity mapping 或随机像素噪声。

六、总结

在本次工作中，我们提出了 CLARITY，一个面向肿瘤治疗决策的医疗世界模型。CLARITY 通过在 latent space 中建模 treatment-conditioned disease trajectories，将医学影像、临床上下文、时间间隔和治疗方案整合到统一的 disease evolution framework 中。

与传统静态预测模型相比，CLARITY 能够模拟“如果采用不同治疗，疾病未来会如何发展”。与 pixel-space diffusion medical world model 相比，CLARITY 避免了高成本图像合成和 representation drift，使多轮治疗策略优化变得更高效。进一步地，CLARITY 通过 Inverse Survival Evaluation 将 survival-aware feedback 反馈给 Therapy Policy Agent，形成一个闭环的 simulation-to-decision treatment planning framework。

实验结果显示，CLARITY 在 MU-Glioma-Post、UCSF-ALPTDG 和 ISPY-2 上均取得了优于现有 baseline 的治疗探索性能，并在 survival prediction 中获得更好的 C-index 和风险分层能力。消融实验进一步验证了 latent dynamics、clinical context、MRI-specific encoder 和 feedback loop 的重要性。

我们希望 CLARITY 能为 medical world model、longitudinal disease modeling 和 AI-assisted treatment planning 提供一个新的研究方向。未来，我们也期待在更大规模、多中心、多模态数据上进一步验证和扩展这一框架，使 AI 系统能够更可靠地辅助真实临床场景中的个体化治疗决策。

Illustration From IconScout By IconScout Store

立足全球视野，深耕学术沃土，五位青年教授的线上闭门交流

北京时间7月15日(周三) 晚20:00截止报名

详情点击图片跳转

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情