在医学研究的广阔天地和临床治疗的前沿阵地，精准解读医学图像并生成深入见解的报告，对于患者的护理至关重要。然而，这一过程对人类临床专家而言，却是一项艰巨的挑战。
随着人工智能（AI）技术的飞速发展，尤其是多模态生成式医学图像解释（GenMI）领域的突破，自动化这一复杂流程的部分工作变得可能。尽管GenMI有望在生成跨学科报告方面达到甚至超越人类专家的水平，但在准确性、透明度等方面仍存在一些障碍。
为了克服这些障碍，并针对临床医生的需求提出解决方案，对于提升护理质量、强化医学教育、减轻工作负担、拓宽专业准入以及提供实时专业知识至关重要。
近日，来自哈佛医学院的研究团队在权威科学期刊《Nature》上发表了研究成果，全面综述了开发从图像中生成医学报告的AI系统所取得的进展和面临的挑战。
[论文链接：https://www.nature.com/articles/s41586-024-07618-3]
研究团队不仅分析了医疗报告生成新模型的优势和应用，还倡导了一种新的部署范式，旨在授权临床医生及其患者充分利用GenMI。
临床中GenMI的优势
目前，大多数AI解决方案都专注于自动完成医学影像中的单一任务，而忽略了放射学和临床成像中所需的全面综合分析。AI在医学成像和报告方面具有广泛的应用潜力，例如快速撰写多科室权威报告、整合多种模式和临床数据，生成更准确、流畅且易于理解的报告等。
医疗报告生成框架的革新
目前，医疗报告生成框架主要由视觉编码器和语言解码器组成。编码器负责将图像中的视觉信息转换为向量表示，而解码器则接收这些向量并生成特定的输出。近年来，科研人员在这一基础上不断创新，以更好地编码图像数据、考虑外部知识、筛选异常等。大语言模型（LLM）等大型预训练通用AI系统，通过推动新的GenMI解决方案的开发，彻底改变了医学图像解释。
GenMI方法的应用
这些GenMI方法能够生成更准确的医疗报告，并使用相同的基础模型执行其他多个下游任务，处理多模态数据。这些算法大多建立在视觉语言模型（VLM）的基础上，VLM将单个视觉和语言模型融合到一个统一的框架中，能够对图像和文本输入进行联合编码。
GenMI的临床应用范例
在临床环境中，GenMI的优势可以通过以下两个范例来理解：
-
部署AI住院实习医师：AI住院实习医师首先起草准确的临床报告，作为住院实习医师或医生撰写报告的起点。在临床环境中对模型进行前瞻性测试，并在主治医师的监督下进行微调或校准，从修正和补充中学习。
-
符合人类偏好：基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）是应用于此类任务的两种技术。对话式医疗报告生成模型使临床医生能够提供反馈和后续问题，并与临床医生合作，通过生成式AI改变输入图像的属性，观察模型预测中的相关差异，并与临床医生识别出的突出特征进行比较。
临床医生与AI系统的协作
总的来说，临床医生可以通过以下三种途径与AI系统协作：
- 利用AI模型的诊断能力，获得诊断错误的反馈。
- 模型快速解析图像和报告的能力，有助于临床医生快速搜索类似病例和图像。
- 模型协助临床医生决策，提出的探究性问题可以帮助临床医生深入了解与特定病症相关的诊断模式。
仍需克服的挑战
然而，要充分发挥GenMI等AI系统的优势，还需要解决基准、人类过度依赖、数据集和模型偏差以及新模型、新科室等挑战。
基准和评估指标：在安全实施医学报告生成模型之前，必须开展评估下游临床效果的研究，明确衡量标准。
临床医生和患者的过度依赖：临床医生可能出于对错误问责的模糊性、确认偏差和自动化偏差等原因，过于依赖机器自动化指导，不愿意更改AI生成报告中的文字，忽略模型无法识别的罕见发现。
有偏差的数据集和模型：深度学习模型，尤其是LLM，很容易受到训练数据固有偏差的影响。
新的模式和新的科室：目前，将GenMI应用于三维成像（包括MRI和CT扫描）的工作十分有限。
总结
自动生成医疗报告在减轻临床负担、扩大专家级临床医疗服务覆盖面方面具有广阔前景。GenMI可以生成更高质量的报告，通过提供交互式临床专业知识，授权临床医生和患者，并通过扩展教育功能改善未来的临床护理。
研究团队强调，在不同模式和科室的临床环境中，制定衡量其效果的公开基准、进行持续的临床合作和谨慎的模型验证至关重要，这有助于学术界更透明地衡量报告生成的进展，并为临床监管机构未来的工作提供指导。