近年来,深度神经网络的出现一定程度上颠覆了医学影像行业的发展路径,人工智能介入下,影像相关科室繁杂重复的工作逐渐由算法接替,医生资源短缺这一问题似乎出现了解决的希望。
但AI亦有其限制。从当前发展情况看,有效的人工智能算法大多聚集于存在大量标准化数据的病种,毕竟要实现高质量AI诊断,需要大量的高质量标注图像进行前期的算法训练。
这一数据相关的特质限制了医学AI的广泛应用。现实之中,罕见病和疑难杂症的数据较少,囿于患者隐私、数据安全等问题,数据收集行为的开展也较为困难。此外,医学图像的标注过程成本较高,对于不同的标注内容往往需要开发特殊的标注工具并交由有经验的医生进行。多方面原因协同下,某些医学图像问题的高标注质量医学图像数据集非常稀缺,其AI自然也难以孕育。
好在AI面临的困境并非没有解法。回想起来,人类只需通过极少的样本就能辨别新的事物,那么机器是否能以复制人类的这一能力呢?答案或许是可以的。最近医学AI领域兴起的一系列小数据学习方法便是以模仿人类的判别能力为目标,尝试通过减少需要的数据量,实现特定目标图像的识别,最终克服医学领域数据量少、标准缺乏的问题。
以先验知识为基础的小样本学习
要实现小样本学习(few-shot learning)必须要具备一些特定条件,譬如模型学习前已经吸收了一定类别的大量资料后,再加之新类别的极少量数据,最终实现小样本模型的形成。因此,小样本学习的关键是在算法中纳入合适的先验知识。
具体到医疗领域之中,很多医学图像模态中广泛存在器官的位置先验信息,例如CT图像中肝脏主要位于腹腔的右上位置,而脾则在腹腔的左上部分,这些位置先验信息对于AI识别特定类别的器官有非常大的帮助。
体素科技在顶级会议ISBI2021上发表的论文《Location Sensitive Local Prototype Network For Few-shot Medical Image Segmentation》便提出了一种基于位置先验信息的局部原型网络(location sensitive local prototype network,见图1)。该论文以肝和脾影像数据构建训练集,再将其收获先验信息的算法加入少量肾部影像分割任务,实现基于小样本学习的AI模型训练。
图一:基于位置先验信息的局部原型网络框架
在公开的CT器官分割数据集Visceral进行试验后,其结果表明,论文提出的新框架比目前的最好方法在Dice Score指标上提高了10%,显著推进了小样本下的器官分割这一领域的技术进展。
利用极端变化一致性来提高数据不足情况下医学图像分割的鲁棒性
除了数据获取困难这一问题外,研究人员在训练时还会遭遇数据来源不统一的问题。
由于医学图像的拍摄设备和拍摄环境和方式多样,各个医院和体检中心之间的人群分布差异明显,因此很难收集和标注足量的训练数据充分涵盖不同来源的图像特征。如果训练数据和实际测试数据存在明显的的分布差异(domain shift),生成的模型往往性能不佳。
体素科技在顶级会议MICCAI2020上发表的《Extreme Consistency: Overcoming Annotation Scarcity and Domain Shifts》为解决这一问题提供了方向。具体而言,该论文提出了极端一致性(extreme consistency)的概念,核心思想是在训练数据中加入极端的图像变换(比如大量强烈的亮度, 对比度, 旋转, 尺寸变换),以增加训练数据的多样性,并假设这些极端的图像变换并不影响图像的语义含义。举例来说,眼底图像中的血管在经过极端的旋转和亮度对比度等变换后,依然能够对应血管本身。
为了实现这一构想,论文设计了一种半监督算法(semi-supervised learning, 见图2), 迫使模型遵守极端变化前和变化后的语义一致性这一约束,进而提高模型对于分布差异的鲁棒性。该论文在皮肤病变分割数据集(ISIC)和两个眼底血管分割数据集 (HRF和STARE)上进行了测试,展现了在数据不足和分布差异较大情况下,算法的鲁棒性和准确性的优势。
图2:左边是基于极端一致性的半监督学习方法的伪代码,右边是网络结构示意图。
少标注和弱标注情况下医学图像分割如何解决?
除了数据的来源问题,对已有数据进行分割标注同样需要研究人员付出大量成本。在中国,影像数据标注非常昂贵,尤其是像素级别的医学图像分割标注,人力支出更为巨大。因此,近期大量的研究工作试图解决不完善医学图像分割数据集中的两类典型问题:
- 标注稀缺。数据集中只有极稀少的图像数据有分割标注。
- 弱标签。数据集中的图像数据只有部分标注、或者标注带有噪声、或者只有图像级的类别标签没有逐像素的分割标注。
对于这两问题,体素科技发表在顶级期刊《Medical Image Analysis》中的文章《Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation》系统性地对现有方案进行了详细的回顾和分类总结(见图3所示)。根据医学图像分割数据集的不同缺陷,论文对这些方案的选择给出了实际的指导建议。
图3:医学分割图像数据集数据集缺陷问题及相应训练策略总结