CVPR 2026 | 在“本征空间”编辑天气，让自动驾驶世界随意切换晴雨雪|map|本征空间|自动驾驶

本文提出了IntrinsicWeather，一种基于扩散模型的本征空间天气编辑框架，通过将场景解耦为材质/几何（本征图）与光照/天气（辐照度图）实现细粒度可控的天气转换，并构建了两个大规模自动驾驶天气数据集，显著优于像素级编辑方法并提升下游感知任务性能。

论文标题： IntrinsicWeather: Controllable Weather Editing in Intrinsic Space 论文链接： https://arxiv.org/abs/2508.06982 项目主页： https://yixinzhu042.github.io/WeatherDiffusion/

在自动驾驶和机器人视觉系统中，天气一直是一个棘手的问题。

同一条街道，在晴天、雨天、雪天甚至沙尘暴条件下，视觉模型看到的画面可能完全不同。雨滴、雪花、雾气不仅遮挡物体，还会改变光照和材质的表现形式，使得目标检测和语义分割的性能显著下降。

近年来，扩散模型（Diffusion Models）在图像生成和编辑任务上取得了巨大进展。然而，大多数天气编辑方法仍然停留在像素空间（pixel space）进行修改：模型直接在原图上“画”出雨滴或雪花。

问题是：

物体的几何结构可能被改变
材质颜色可能被错误修改
光照和阴影往往不符合物理规律

这就像是在一张照片上贴滤镜，而不是在真实世界中改变天气。

来自南京大学、南开大学和 NVIDIA的研究团队提出了一个新的思路：

如果我们先理解场景的“物理本质”，再改变天气，会怎么样？

他们提出了IntrinsicWeather—— 一个在Intrinsic Space（本征空间）中进行天气编辑的扩散模型框架。

一、核心优势：解决像素空间编辑方法物理一致性低、光照合理性差的痛点

物理一致性：像素空间编辑方法需要模型隐式的学习耦合在一起的材质、几何与光照的关系，IntrinsicWeather 引入物理约束作为归纳偏好，通过逆渲染分离场景属性，模型显式学习在编辑天气的同时保持材质几何的一致。

光影真实性：得益于光照的分离，IntrinsicWeather 在材质几何信息的基础上以全新光照、天气下重渲染，避免输入图像中的光照和阴影对编辑结果产生影响，从而产生合理、真实的光照结果。

二、技术逻辑：先理解世界，再改变天气

IntrinsicWeather 的核心框架由两个模块组成：

Weather-aware Inverse Renderer
Weather-conditioned Forward Renderer

第一步：逆渲染（Inverse Rendering）

模型首先将输入图像分解为多个Intrinsic Maps：

Albedo（物体本身颜色）
Normal（几何结构）
Roughness（粗糙度）
Metallicity（金属属性）
Irradiance（光照和天气影响）

其中：

前四种属于weather-invariant（不随天气变化）
Irradiance 属于weather-variant

第二步：前向渲染（Forward Rendering）

当场景被分解后，模型就可以根据新的天气条件重新生成图像：

甚至可以生成中间状态的天气。

论文利用CLIP embedding 插值实现连续天气控制：

改变的值，就能控制天气变化强度

随着降雨/降雪强度增加，天空积云逐渐增加，道路湿润程度/积雪逐渐增加，而不是简单叠加滤镜。 Intrinsic Map-Aware Attention：让模型关注正确区域

在自动驾驶场景中，物体尺度变化巨大：

远处的车辆很小
栏杆和路牌细节复杂

普通 diffusion 模型很容易忽略这些细节。

为了解决这个问题，作者提出了：Intrinsic Map-Aware Attention（IMAA）

IMAA 的核心思想是：

不同 intrinsic map 需要关注不同区域。

模型通过gating mechanism为不同 intrinsic map 生成 attention mask，使模型在分解时更加准确。

Normal map 需要关注几何边缘；Metallicity map 需要关注金属物体（车辆、栏杆等）

实验表明，IMAA 能显著提高几何结构和材质预测质量。

大规模天气数据集

WeatherSynthetic

使用Unreal Engine 5渲染生成：

38K 图像
多种天气条件

同时提供完整的 intrinsic maps。

WeatherReal

作者利用 inverse renderer 为开源户外数据集生成 intrinsic map 伪标签，并进行人工筛选。

这个数据集用于提升模型在真实世界中的泛化能力。

三、实验结果天气编辑能力

在多项指标上，IntrinsicWeather 在多种指标和编辑强度上达到最佳平衡：

定性比较表明，相比于像素空间编辑SOTA方法，IntrisicWeather无论在物理一致性还是光影真实性上都显著更优。

逆渲染能力

定量与定性结果均大幅超过现有逆渲染SOTA方法，如DiffusionRenderer，在户外恶劣天气场景下，仍然能够估计出合理的材质与几何属性。

对自动驾驶任务的提升

IntrinsicWeather 不只是一个视觉编辑模型。

作者进一步测试了它对下游感知任务的影响。

在ACDC 数据集上：

目标检测：AP75: 13.15% → 24.60% 语义分割：mIoU: 24.13% → 30.05%

四、总结

IntrinsicWeather 提出了一个全新的天气编辑范式：

从像素空间 → intrinsic 空间。

核心贡献包括：

提出IntrinsicWeather 框架，实现可控天气编辑
设计Intrinsic Map-Aware Attention
构建WeatherSynthetic 与 WeatherReal 数据集
显著提升自动驾驶场景的视觉鲁棒性

更重要的是，这项工作展示了一个重要趋势：

未来的生成模型，不只是生成图像，而是理解世界的物理结构后再进行生成。

llustration generated by AI.

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。