何军军/俞容山联合开发SlideChat，可交互、全切片级别的病理AI助手

yinfuhua

Nat Cancer：何军军/俞容山联合开发SlideChat，可交互、全切片级别的病理AI助手6 g/ b$ @1 Y0 l4 @5 ?2 K9 ?, T
1.        多模态人工智能
2 @  g6 {0 |' r! _" g2.        SlideChat7 z- U& O/ \1 c, M
3.        METEO7 {( F, T0 C: W
来源：iNature 2026-09-08 15:55  B6 O/ F7 \* G( Q9 |+ A
研究人员推出SlideChat，一种用于跨癌种全切片计算病理学的多模态生成式人工智能助手。SlideChat将补丁级别和切片级别的病理编码器与预训练的大语言模型相结合。6 _, c8 C4 k( r* c4 j* R: `
多模态人工智能在计算病理学中虽显示出巨大潜力，但仍局限于孤立的补丁级别解释，往往无法分析对临床效用至关重要的十亿像素级全切片图像（WSIs）。8 G8 I! f8 ~- }( t9 ^8 p' E
2026年9月1日，上海交通大学何军军、厦门大学俞容山共同通讯在Nature Cancer（IF=28）在线发表题为SlideChat is a multimodal generative artificial intelligence assistant for whole-slide computational pathology across cancer types的研究论文。该研究推出了SlideChat—一种专门为全切片病理分析设计的生成式多模态AI助手。
- ~; U, T. s& @; R0 f* f在涵盖31种癌症类型、5个独立队列的8836道选择题、129道开放题及3149份报告生成任务中，SlideChat在多项指标上显著优于GPT-4o、MedDr等主流基线模型，展现出辅助病理诊断、教学和科研的巨大潜力。
/ F0 n6 H. U/ t1 u/ C8 E
* i% Z+ v$ P7 }9 H计算病理学在现代诊断中至关重要，它能够对数字化组织病理切片进行精确的定量分析，这是癌症诊断、预后和治疗计划的基础。近年来，随着视觉基础模型和视觉-语言模型的进展，该领域迅速获得发展动力。' s- B# s' @- M
这些模型从大规模数据中学习可泛化的表征，并在多种病理任务中有效执行。将大语言模型（LLMs）整合到视觉系统中进一步推动了病理学多模态大语言模型（MLLMs）的出现，使人类与人工智能（AI）在临床决策、医学教育和生物医学研究中的交互成为可能。3 M0 D3 i& }" \! C/ g/ f& `
尽管取得了这些进展，现有的病理学MLLMs仍受限于补丁或区域级分析，聚焦于玻片的孤立区域，缺乏对更广泛组织背景的认识。这种方法不足以应对真实世界的临床病理学需求，后者要求玻片级别乃至患者级别的分析，并整合全切片图像（WSI）中跨多个区域、尺度和背景的信息，以支持完整的诊断工作流程，包括亚型分型、鉴别诊断和病理报告生成。% z+ p4 J5 b- O/ Z* O/ j. R
# K9 k$ I8 W( ^
SlideInstruction数据集和SlideChat架构概述（图源自Nature Cancer）
; O1 Q, n) C5 k: `在此，研究人员推出SlideChat，一种用于跨癌种全切片计算病理学的多模态生成式人工智能助手。SlideChat将补丁级别和切片级别的病理编码器与预训练的大语言模型相结合。通过274,233个多模态指令样本的训练，SlideChat学习了WSIs与诊断报告之间的关联，并能够解释临床实践中的复杂查询。; e6 |6 z  d$ J% D
在来自五个队列、涵盖31种癌症类型的8,836个封闭式问题、129个开放式问题和3,149份WSI报告上的评估结果显示，SlideChat在封闭式问题准确率上优于领先基线19.1%，在报告生成的METEO（具有显式排序的翻译评估度量）得分上高出7.7%，并在开放式问答的五个维度上获得了最高的专家评分，展示了其在增强诊断工作流程、医学教育和临床决策方面的潜力。: A; [9 v% M% Q( |! _% g
参考消息：https://www.nature.com/articles/s43018-026-01220-43 A0 w# {5 d6 B9 L+ M
* J1 }3 I* r' P$ a, m