打开网易新闻 查看精彩图片

作者丨论文团队

编辑丨ScienceAI

近期香港大学、北京协和医院、北京大学人民医院、武汉市第三医院、黄石市中心医院、深睿医疗等机构的联合研究发表于《Nature Cancer》。团队提出 DeepFAN,并通过多中心、多阅片者、多病例(MRMC)配对试验,评估 AI 对低年资放射科医师进行肺结节良恶性判断的辅助价值。论文披露,试验采用的 DeepFAN v1.0 已取得国家药品监督管理局三类医疗器械认证(批准编号:20243211932)。

打开网易新闻 查看精彩图片

论文题目:DeepFAN, a transformer-based model for human–artificial intelligence collaborative assessment of incidental pulmonary nodules in CT scans: a multireader, multicase trial

论文链接:https://www.nature.com/articles/s43018-026-01147-w

arXiv版链接:https://arxiv.org/abs/2603.25607

代码链接:https://github.com/zhjtwx/DeepFAN

打开网易新闻 查看精彩图片

01 从局部征象走向全局 — 局部联合建模

用 Transformer 理解整体上下文,用 3D 卷积网络刻画结节细节,再由图卷积网络建立多类特征之间的关联。

胸部 CT 的广泛应用使偶发肺结节被更频繁地发现。临床难点在于初次发现时稳定区分良恶性:经验差异、阅片负荷和复杂影像表现都会增加判读的不确定性。传统卷积神经网络擅长局部纹理,却不足以系统利用结节与周围肺组织的整体关系。

DeepFAN 以全局表征、局部属性和关联融合构成互补的判别路径:视觉 Transformer 理解结节及周围区域的整体上下文,3D ResNet 围绕影像属性提取细节,图卷积网络再学习不同线索之间的联系,输出结节恶性概率。其设计重点不是简单叠加网络,而是让整体信息与局部征象在同一学习框架中相互补充。

全局建模:让分散的影像线索建立联系。模型以目标结节为中心,将包含结节及周围组织的三维 CT 区域划分为多个图像块,再转化为包含位置编码的 token 序列。自注意力机制学习不同区域之间的关联,使相隔较远的影像线索能够共同参与表征。网络既形成汇总性的全局特征,也保留区域特征供后续融合。这里的「全局」是相对于该结节及周边区域而言,核心在于把局部细节放回整体上下文理解。

局部建模:用影像属性组织细粒度学习。与全局路径并行,3D ResNet 在连续 CT 层面提取立体形态与纹理,并以共享特征为基础,分别学习分叶、毛刺和密度类型。注意机制与双线性注意池化将空间特征汇聚为属性相关的表征,使学习目标从笼统的良恶性分类细化为对具体征象的刻画。相应的属性预测任务提供了与放射科判读语言相衔接的监督信号,而不是让局部路径只围绕最终诊断标签学习。

反事实注意:学习「关注哪里」对属性判别的贡献。模型对同一组影像特征分别施加学得的注意图和随机注意图,再比较两个分支提取的信息。随机注意形成参照,使网络学习有针对性的关注相较于随机关注带来了哪些判别信息。两个分支的属性预测差异用于属性学习,特征差异则作为局部属性表征进入图网络关联融合。这样的反事实比较发生在特征和注意层面,无需修改原始 CT 图像,其作用是强化与属性判别有关的注意信息。

图关联融合:让全局特征与局部征象相互交流。模型将全局特征和局部属性特征作为图中的节点,以动态更新的关系权重描述不同线索之间的关联,用残差图卷积逐步形成联合表征,并给出恶性概率。这种图描述的是特征之间的关系,而非患者或解剖结构之间的联系;它使毛刺、分叶等属性能够与整体影像共同参与判别,把特征的简单汇聚推进到特征间关系的学习。

打开网易新闻 查看精彩图片

图 1 DeepFAN 技术架构与验证队列:ViT 负责全局上下文,3D ResNet 提取局部影像征象,GCN 完成特征关联建模与融合。

可解释性发现

特征贡献分析显示,全局信息的贡献高于局部信息,提示良恶性评估不应只依赖单一征象,结节整体形态、空间分布及周围环境同样重要。

02 三层证据链:内部测试、外部泛化与 MRMC 临床试验

模型性能只是起点,研究设计把验证推进到不同人群、不同中心以及真实阅片行为的直接比较。

打开网易新闻 查看精彩图片

开发与验证队列来自中国 7 个省 9 家医院,共纳入 8,172 名患者的 11,438 个病理确诊肺结节,按 7:1:2 划分训练、验证和内部测试集。外部测试使用 NLST 的 7,934 名受试者、17,892 个结节(良性占 94%),检验跨人群和疾病谱的泛化能力。

MRMC 试验纳入 3 个中心的 400 名连续患者、463 个病理确诊结节(良性 222 个、恶性 241 个)。12 名具有 1—5 年经验的放射科医师在无 AI 与 AI 辅助条件下交叉完成两轮阅片,间隔 4 周洗脱;胸外科、病理科和放射科共同建立金标准。

打开网易新闻 查看精彩图片

图 2 多中心 MRMC 临床试验流程:12 名低年资放射科医师在两轮阅片中交叉接受或不接受 AI 辅助,两轮间设置 4 周洗脱期。

03 AI 辅助后,准确性与一致性同步提升

DeepFAN 不仅保持较高的独立判别性能,还推动 12 名阅片者的判读性能整体向 ROC 曲线左上方移动。

在临床试验数据上,DeepFAN 独立评估的 AUC 为 0.954(95% CI 0.934—0.973),敏感度为 0.950,特异度为 0.851。更关键的是,人机协作带来了面向临床使用者的直接增益:12 名阅片者的平均 AUC、准确率、敏感度和特异度分别提高 10.9、10.0、7.6 和 12.6 个百分点。

打开网易新闻 查看精彩图片

以上为 12 名阅片者的平均结果;四项提升均达到统计学显著性(P<0.001)。

打开网易新闻 查看精彩图片

图 3 多中心临床试验 ROC 结果:每支箭头从无 AI 判读位置指向 AI 辅助位置,整体指向更高敏感度和更低假阳性率。

特异度的提升幅度最大,表明 AI 辅助可帮助减少将良性结节判断为恶性的情况。结节层面的阅片者间一致性 κ 值由 0.313 升至 0.421(P=0.019);患者层面的平均 AUC 由 0.733 升至 0.840,准确率由 0.665 升至 0.770。

04 人机协作的价值,在于把「模型结果」转化为「更稳的临床判断」

研究进一步追踪 AI 如何改变医师判断,并明确哪些场景仍需更强解释与更多证据。

第二读者,而非替代者

DeepFAN 在试验中提供良恶性分类及概率信息,最终判断仍由医师完成。AI 的角色是把稳定、量化的补充证据带入决策链,帮助降低经验差异造成的波动。

分层分析显示,DeepFAN 对中等难度结节的辅助增益最明显:阅片者 AUC 由 0.447 提升至 0.642。对于高难度结节,提升相对有限,提示当结节影像表现具有欺骗性或超出常见模式时,仅给出二分类结果还不够,未来需要更充分的解释信息、更多证据以及针对复杂病例的训练。

研究还发现,AI 辅助阅片的准确性与 AI 自身判断准确性、结节诊断难度以及阅片者教育背景密切相关。即使使用同一套 AI,不同医师获得的收益仍有差异。这意味着临床落地不能只部署模型,还需要设计结果呈现方式、培训机制、异常病例处置路径以及持续质量监测。

从技术演进角度看,DeepFAN 把肺结节 AI 从局部特征学习和单模型性能比较,推进到全局 — 局部融合、可解释分析和人机协作临床验证。其技术意义不仅在于获得较高 AUC,更在于用配对 MRMC 设计直接量化 AI 加入阅片流程后的增益,为评估临床 AI 建立了更接近使用场景的证据路径。