哈佛团队开发类ChatGPT的AI病理模型，诊断19种类型癌症准确率近94%

2024年9月25日，佳能（中国）有限公司在上海举办了“出色，何止一面”佳能打印机新品首印会，正式发布佳能自动双面G系列打印机新阵容，7款加墨式高容量一体机惊艳亮相，包括G4891、G4881、G4880、G3891、G3890、G3881和G3880。此次发布不仅是对佳能小G灵系列产品的升级与拓展，更是保持该系列产品一贯的印量大、速度快、易...

我们能否拥有一款类似 Ch GPT 的 AI 模型，通过识别和分析病理图像就可预测和诊断癌症呢？最近的一项科学进展有望让这一愿望成真。

美国哈佛大学助理教授余坤兴团队与合作者基于机器学习，开发了一款临床组织病理学成像评估基础（CHIEF，Clinical Histop hology Imaging Evalu ion Found ion）模型。

通过训练 1500 万张未标记的病理图像和 60530 张覆盖 19 个解剖部位的全切片图像（WSI，Whole Slide Image），该模型能够对 19 种不同类型的癌症进行诊断，检测准确率接近 94%。

该技术还能够对多种癌症患者的存活率进行预测，并精确识别肿瘤周围的微环境特征，这些特征与患者对手术、化疗、放疗和免疫疗法等常规 方案的反应密切相关。

值得关注的是，该模型的性能超过了当下其他先进的深度学习方法高达 36.1%，为癌症诊断和预后预测提供了一个 且强大的工具。

图丨余坤兴（Kun-Hsing Yu）（来源：余坤兴）

审稿人对该研究评价称：“该团队通过将 CHIEF 应用于跨癌症类型的多种预测任务，展示了其通用性。即使在资料分布改变和数据异质性的情况下，CHIEF 仍然具有优于传统方法的性能。”

近日，相关论文以《一种用于肿瘤诊断和预后预测的病理基础模型》（A p hology found ion model for cancer diagnosis and prognosis prediction）为题发表在 N e[1]。

哈佛医学院 Xiyue Wang 博士和 Junhan Zhao 研究员是共同 作者，余坤兴助理教授和 Sen Yang 研究员担任共同通讯作者。

图丨相关论文（来源：N e）

可对癌症进行诊断和预测癌症患者存活率

癌症诊断是一个复杂且充满挑战的过程，它要求极高的精确度和对生命健康的深刻理解。

随着 AI 技术的发展，其在医学领域的应用也逐渐深入。但需要了解的是，AI 在癌症诊断中的应用与其他领域本质的不同在于，其对安全性具有极高的要求。

Ch GPT 在回答与医疗无关的问题时，如果引用了错误或不实的信息，通常不会立即危害患者。

在临床中使用 AI 模型进行癌症诊断，如果其中有任何不确定性和错误，都有可能带来严重的后果。

为确保模型兼具足够的泛化性和高性能，研究人员通过尽可能多样化的数据获取与处理，并通过优化模型训练来实现该目标。

在数据获取和处理方面，为提供详细的组织病理学信息，研究人员首先使用 1500 万张未被标记的图像作为初步数据集。

之后，进一步使用了 6 万张 44TB 的高分辨率 WSI 进行预训练。这些图像涉及的组织包括：肺、乳腺、前列腺、结直肠、胃、食道、肾、脑、肝、甲状腺、胰腺、宫颈、 、卵巢、 、皮肤、软组织、肾上腺和膀胱等。

数据量增多并不意味着模型的性能和准确性会随之提升。研究人员发现，在仅使用传统的端到端机器学习模型的条件下，即便执行简单任务也很容易出现性能下降的情况。

为此，在端到端模型基础上，他们加入了两个辅助训练模块，来优化数据利用效率。

具体来说，其中一个模块用于预测病理图像中的重要区域，另一个模块则针对病理图像，运用对比学习方法增强模型对不同类型癌症的识别和判断能力。

图丨 CHIEF 模型概述（来源：N e）

基于此，CHIEF 模型通过从病理图像中提取微观特征，可实现癌细胞检测、肿瘤起源识别、分子档案表征和预后预测等。

在模型有效性验证方面，该课题组在收集的 19491 张全切片图像中成功验证了 CHIEF 模型的泛化能力，这些数据来自美国、中国、欧盟、韩国等 24 家国际医院以及患者队列的 32 个 数据集。

数据多样性对于训练出能够泛化到不同病理类型的高性能模型至关重要。

余坤兴解释说道：“通过这种方式，能够让 CHIEF 模型在面对不同医院、不同设备甚至不同地区人群的病理切片时，依然保持较高的准确性和可靠性，并可处理不同切片制备方法造成的领域偏移。”

从临床效果来看，该模型在能够预测肿瘤的分子特征的还可对患者生存结果进行预测。CHIEF 通过解析病理图像资料，可识别出与 反应相关的基因突变。

余坤兴表示，CHIEF 可节省等待 DNA 测序和基因图谱分析的时间，提前数周就能看到预测结果。尽管这些结果仍需后续验证，但它为处理肿瘤恶化迅速或需要特殊 方案的紧急病例提供了新的诊断途径。

该模型能够对癌症患者的存活率进行预测，并已在 17 个不同机构的患者样本中进行 和验证。

通过 CHIEF 模型分析提取的微观特征，可对癌症患者处于高死亡风险和低死亡风险进行判别，从而辅助医生了解患者的风险等级。

有望在近年内推出相关产品

将该成果转化为医生和患者可用的工具，需完成一系列工作。前瞻性临床试验，通过美国食品药品管理局（FDA，Food and Drug Administr ion）的核准等。

还需要不断地监控 AI 模型实际应用于患者后的安全性能，并及时处理其他问题。

目前，研究人员正在开展一项小规模的前瞻性临床试验，旨在 CHIEF 模型在临床病理诊断中的应用效果。

图丨模型注意力分数的可视化显示了 CHIEF 在 WSI 中准确识别出癌症区域（来源：N e）

该研究的重点在于病理影像，下个研究阶段他们将模型与临床数据和其他类型的生物信息数据（比如分子生物学和基因组学等数据）结合，以提升预后预测的准确性和提升模型的性能。

“医生在诊断过程中，除了病理影像还会利用分子标志物和患者的具体情况等辅助信息作为诊断依据，而这些数据可以通过 CHIEF 模型加上先进的处理技术进行综合分析。”余坤兴说。

研究人员还计划将 CHIEF 模型应用于实验性 的预后评估，尤其是当前正在进行的临床试验，包括免疫疗法等新 手段。

尽管一些新疗法目前已获得了相关认可，但它们只对特定患者群体有效，仅少数患者能从中获益。

该课题组希望未来能够利用历史数据建立模型，对患者对实验性 方法的反应进行预测。

具体来说，对于预后不良的患者，医生可基于 CHIEF 模型的预测结果加强监测或在 效果不佳时，考虑更换其他 方案。

余坤兴说道：“这样的延伸和改进将更精准地为患者选择最合适的 方案，从而推动精准医疗和个性化 的发展。”

目前，该实验室的相关技术已获得美国专利。CHIEF 源代码也已开源，以便全球的研究人员能够在该成果基础上进一步迭代改进和优化。

据了解，该团队目前正在与业界合作，希望将 CHIEF 模型发展为便捷、用户界面友好的临床辅助诊断工具，并在准备 FDA 的相关审批工作。

据该课题组预计，在疾病预测方面，CHIEF 将率先应用于常见的癌症，并提升其在诸如手术中的病理诊断、基因突变分析等方面的应用效果。随着技术的发展和市场需求变化，将逐渐扩展至罕见癌症以及其他疾病领域。

“我们计划先针对特定疾病建立基于大模型的小型专用模型，使其成为临床可用的稳健工具之一。而特殊模型有望提供更先进的性能和更高的可靠性，从而超越现有的方法。预计在未来两到三年内，希望能够推出获得 FDA 批准的工具。”余坤兴表示。

AI 模型会代替医生吗？

余坤兴在拥有医师背景的还在美国斯坦福大学获得生物医学信息学博士学位和辅修计算机科学博士学位。

目前，他担任哈佛医学院生物医学信息学助理教授，兼任美国布莱根妇女医院病理学助理教授和哈佛大学陈曾熙公共卫生学院流行病学讲师。

其课题组研究方向包括定量病理学、机器学习和转化生物信息学，重点方向是 AI 辅助病理学诊断，尤其是促进癌症病理研究和临床实践。

图丨余坤兴课题组（来源：余坤兴）

现阶段的癌症诊断仍然以专家判断或多专家会诊为主，而精确诊断、癌症分类以及相关子类別分类等方面具有广阔的发展前景。

此前，余坤兴带领团队开发了全自动算法大规模分析全切片组织病理学图像，揭示肿瘤细胞微观表型背后的分子机制，并确定了用于患者预后预测的细胞形态。

他表示，研究 AI 病理既有趣又充满挑战，该领域仍然存在大量尚未 的问题，例如如何做出最准确的癌症分类、预测新疗法的效果及副作用等。

随着新疗法不断涌现，该实验室与病理临床医师团队也在积极开展合作，共同探索并提升 AI 模型的实用性，以确保其在实际应用中提供专业病理诊断的能力，尤其是对罕见癌症提供更准确的预测和指导，以实现个性化 。

如果未来技术进步到一定程度，当 AI 模型的性能和准确率达到或超过医生水平，有可能替代医生吗？

余坤兴表示：“AI 未必会替代医生，但是会用 AI 的医生会替代那些不会用 AI 的医生。”

参考资料：

1.Wang, X., Zhao, J., Marostica, E. et al. A p hology found ion model for cancer diagnosis and prognosis prediction. N e (2024). https://doi.org/10.1038/s41586-024-07894-z

排版：刘雅坤