Cell | 多模态AI构建肿瘤免疫微环境的虚拟人群|免疫性疾病|微环境|病理|细胞|肿瘤|蛋白

撰文 | 格格

肿瘤免疫微环境 (TIME) 是一个复杂的空间生态系统，由癌细胞和多种非恶性细胞类型（如免疫细胞、肿瘤相关成纤维细胞、内皮细胞等）组成，这些细胞被嵌入一个改变的外泌体基质中【1】。TIME对癌症进展和免疫治疗响应至关重要，但传统解析方法（如多重免疫荧光mIF）成本高昂、通量低，难以大规模应用【2】。H&E染色切片虽成本低、普及度高，但无法直接反映细胞功能状态。如何从H&E切片中提取肿瘤微环境信息成为关键挑战【3】。最近，基础模型的出现进一步放大了这种潜力，因为AI已经通过从大量病理图像中进行预训练而证明了其优越性能。这种AI进展表明，学习指示空间分辨率蛋白激活的病理特征是可行的【4】。

近日，来自微软研究院Hoifung Poon和Sheng Wang等团队在Cell杂志发表题为Multimodal AI generates virtual population for tumor microenvironment modeling的研究论文。该研究旨在利用多模态AI技术，通过将H&E组织学图像转化为虚拟的多重免疫荧光图像，从而构建肿瘤免疫微环境的虚拟人群，并进行大规模的临床发现和患者分层。

为了克服mIF技术在肿瘤微环境研究中的局限性，研究人员开发了GigaTIME，一个基于多模态AI的框架。该框架利用H&E组织学图像，通过训练大量配对的H&E和mIF数据，学习将H&E图像转换为虚拟mIF图像，从而构建肿瘤免疫微环境的虚拟人群。GigaTIME应用于来自14,256名患者的H&E图像，生成了299,376张虚拟mIF全切片图像，涵盖了21个蛋白通道。此外，研究人员还使用TCGA数据库生成了一个独立的虚拟人群，以验证GigaTIME的泛化能力。

为了评估GigaTIME的性能，研究人员将其与CycleGAN进行了比较，并使用了Dice分数、皮尔逊相关系数和滑动窗口激活比较等指标评估了三种不同粒度（像素级、细胞级和切片级）的转换保真度。结果表明，GigaTIME在21个蛋白通道中的15个通道上显著优于CycleGAN，在Dice分数和皮尔逊相关系数方面表现出更高的保真度。GigaTIME生成的虚拟mIF图像在空间模式上与实际mIF图像高度一致，并能有效地捕捉多种免疫和肿瘤标志物的空间分布和相互作用。

通过分析GigaTIME生成的虚拟人群，研究人员发现了1234个具有统计学意义的关联，这些关联将21个GigaTIME转换的虚拟蛋白通道与20个临床生物标志物联系起来，涵盖了泛癌、癌症类型和癌症亚型水平。在泛癌水平上，研究人员发现了与肿瘤突变负荷、微卫星不稳定性、KMT2D突变等基因组改变相关的TIME相关通道的激活增加。在癌症类型水平上，研究人员在脑癌、肺癌和大肠癌等癌症类型中发现了大量的关联，这些关联通常是特定于特定癌症类型的。在癌症亚型水平上，虚拟人群揭示了组织学特异性关联，这些关联通常难以在小型队列中检测到。

除了临床生物标志物外，研究人员还通过GigaTIME转换的虚拟蛋白激活对病理分期和患者分层进行了系统性的研究。在泛癌水平上，研究人员发现了蛋白通道与病理分期（T、N和 M）之间的显著关联，这与先前的研究结果一致。在癌症类型水平上，这些蛋白-分期关联在不同癌症类型中差异很大，这突出了组织学背景在解释生物标志物-基因组关联方面的重要性。研究人员还发现，GigaTIME转换的虚拟蛋白激活足以将患者分为具有显著不同的生存轨迹的亚组，并且整合所有21个虚拟蛋白通道的GigaTIME签名在患者分层方面优于单个虚拟蛋白通道。

图1 利用AI技术构建肿瘤微环境的虚拟人群模型

总之，该研究利用多模态AI技术成功构建了肿瘤免疫微环境的虚拟人群，并揭示了其空间和组合蛋白激活模式，为大规模临床发现和患者分层提供了新的工具，并推动精准免疫肿瘤学的发展。

https://www.cell.com/cell/fulltext/S0092-8674(25)01312-1

制版人：十一

参考文献

1. Nagarsheth, N., Wicha, M.S., and Zou, W. (2017). Chemokines in the cancer microenvironment and their relevance in cancer immunotherapy.Nat. Rev. Immunol.17, 559-572.

2. Lin, J.R., Chen, Y.A., Campton, D., Cooper, J., Coy, S., Yapp, C., Tefft, J.B., McCarty, E., Ligon, K.L., Rodig, S.J., et al. (2023). High-plex immunofluorescence imaging and traditional histology of the same tissue section for discovering image-based biomarkers.Nat. Cancer4, 1036-1052.

3. De Matos, L.L., Trufelli, D.C., De Matos, M.G.L., and da Silva Pinhal, M.A. (2010). Immunohistochemistry as an important tool in biomarkers detection and clinical practice. Biomark.Insights5, 9-20.

4. de Haan, K., Zhang, Y., Zuckerman, J.E., Liu, T., Sisk, A.E., Diaz, M.F.P., Jen, K.Y., Nobori, A., Liou, S., Zhang, S., et al. (2021). Deep learning-based transformation of h&e stained tissues into special stains.Nat. Commun.12, 4884.

学术合作组织

（*排名不分先后）