自UNet的提出，卷积神经网络成为了医学影像分割的标配算法。近年来，随着更加先进的网络结构的陆续提出，医学影像分割的准确率被不断刷新。然而，网络结构的改进对算法性能的提升渐渐趋于饱和，医学影像分割的另一个问题——高质量标注数据集稀缺——成为了限制算法性能亟待解决的问题。在医学影像领域，图像数据和高质量的标注数据的获取都十分的昂贵，现有的医学影像数据集普遍存在着标注稀缺和弱标注这两个问题，严重限制了算法在生产环境中的应用。 针对这一难题，体素科技的科学家们回顾了以往的研究成果， 针对业务设计了创新的算法。最新研究论文《Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation》近日在医学影像分析顶级期刊《Medical Image Analysis》上发表，主要介绍了体素科技在小数据下的医学图像分割这一问题上取得的一些研究成果，并希望能提高大家对可用于处理不完整医学图像分割数据集的技术的认识。
发表回顾性文章总结以往研究成果目前先进的神经网络分割算法需要大量的高质量标注图像进行训练。然而现实情况中，高质量的标注图像却很难获得，尤其对于医学影像分割，图像数据和标注都很昂贵。针对这个问题，近期大量的研究工作试图解决不完善数据集的两类典型问题：
- 标注稀缺。数据集中只有极稀少的图像数据有分割标注。
- 弱标签。数据集中的图像数据只有部分标注、或者标注带有噪声、或者只有图像级的类别标签没有逐像素的分割标注。
体素科技在发表到医学影像分析顶级期刊《Medical Image Analysis》的文章《Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation》中，针对这两个主要问题，系统性的对现有的方案进行了详细的回顾和分类总结（见图1所示）。
图 1 数据集缺陷问题及相应训练策略（图片摘自[1]）针对数据集的不同问题和数据量需求的多寡，体素科技对这些以往方案的选择给出了以下指导建议：
1、对于标注稀缺的问题，
a）当仅使用现有的标注数据，不使用额外数据时，传统的data augmentation （包括synthetic augmentation）和shape regularization对2D和3D网络的训练都有明显帮助；基于CRF的后处理技术对2D网络的分割结果有较明显帮助。
b）如果要使用额外的同源数据，基于self-supervised的预训练通常是有效的方法之一。另外，基于额外辅助数据集来进行multi-task learning和dataset fusion也能取得较好的效果。 Domain adaptation也是可行的方案之一。
c）当要引入大量新的未标注数据时，active learning和interactive segmentation是目前可行的两种方案。Active learning从大量样本中挑选出对算法提升最大的少量样本，给到医生标注，从而减少标注需求；Interactive segmentation建立起human-in-the-loop的标注方式，减轻医生的标注压力。
2、对于弱标注的问题，
a）Noisy annotations是医学影像分割数据集中的常见问题。Noisy annotations表现为医生标注的分割边界和目标区域的理想边界无法完美重合。Noise-resilient策略使算法可以使用这种粗糙的标注进行训练，达到与精准标注相似的分割结果。
b）Sparse annotations是指目标区域只有部分标注，例如用稀疏的点或线条标记器官。Selective loss with mask completion方法首先通过稀疏标注重构出完整的标注，然后使用完整的标注进行训练；selective loss without mask completion重新设计了目标函数，使用稀疏的规则点阵标注目标区域。Sparse annotations往往只对较大的目标区域（例如器官）有效，对于小目标区域（例如病灶）效果不佳。
c）Image-level annotations只需要给出图像级的语义标签，是标注代价最小的标注方式。基于Class activation maps的方法能够在利用image-level annotation的同时较大地提升图像分割的结果，是使用image-level annotation处理图像分割问题的理想方案。
体素科技的解决方案
针对以往研究工作的不足， 结合自身业务， 体素科技针对小样本数据下的医学图像分割和分析难题提出了多个解决方案， 并发表到了ISBI， MICCAI等国际医学顶会中。
ErrorNet: 通过预测分割错误来提高小样本下的医学图像分割效果
图 2 ErrorNet 的网络架构（图片摘自[2]）深度卷积神经网络已证明能有效分段各种医学成像方式中的病变和解剖学。但是，在存在小样本问题或数据分布不一致（domain shift）问题时，这些模型通常会产生出乎预料的分割错误。在发表到ISBI 2020 的论文《ERRORNET: LEARNING ERROR REPRESENTATIONS FROM LIMITED DATA TO IMPROVE VASCULAR SEGMENTATION》 中，体素科技提出了一个称为ErrorNet的分割框架来纠正这些分割错误，该过程基于事先学习的形状将自动生成的分割误差注入分割结果，然后尝试预测分割误差。在预测过程中，ErrorNet 通过将预测的分割误差添加到初始分割结果中来纠正分割错误 （见图2所示）。我们在五个视网膜分割的公共数据集评估了ErrorNet的效果。实验表明，ErrorNet 表现优于基本的分割模型、基于 CRF 的后处理方案和域自适应的方法，在数据不足的情况下，性能提升更大。
Surrogate Supervision for Medical Image Analysis: 使用代理监督学习来进行医学图像分析
图 3 体素科技针对不同医学图像分析任务提出的自监督策略（图片摘自[3]）在发表到ISBI 2019的文章《SURROGATE SUPERVISION FOR MEDICAL IMAGE ANALYSIS: EFFECTIVE DEEP LEARNING FROM LIMITED QUANTITIES OF LABELED DATA》中，体素科技研究了一种简明的解决方案，用以解决深度学习应用到医学影像分析领域时，标注训练数据缺失的问题。其基本思想是将人工标注分配给大量可用的未标注医学图像，并通过称为代理监督的过程，为缺乏足够标注数据的医学图像分析任务进行网络预训练。特别地，体素科技针对2D和3D医学图像分类和分割这4种任务，采用了3种代理监督方案，即旋转、重建和着色（见图3所示）。我们的研究得出了3个主要结论：1）带有代理监督的预训练对小数量训练数据有效；2）从头开始通过代理监督进行预训练的网络模型的效果优于从头开始进行训练时的相同网络模型的效果，表明在训练任何3D网络模型之前应考虑使用代理监督进行预训练；3）使用医学图像进行代理监督得到的预训练模型比从无关领域（例如自然图像）进行迁移更有效，表明未标注的医学图像数据对模型训练也具有实用价值。
Models Genesis:一个通用的自监督网络构架用于3D医学分析任务
图 4 Model Genesis 的网络构架（图片摘自[4]）从自然图像到医学图像的转移学习已被证实为深度学习在医学图像分析中最实用的学习范式之一。但是，为了适应这种学习范式，必须以2D形式逐层处理3D医学图像数据（例如CT和MRI），丢失了丰富的3D解剖结构信息，导致算法性能的损失。为了克服这种限制，体素科技联合创始人梁建明教授在发表在MICCAI19 的获奖论文《Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis》中， 提出了一组称为Models Genesis的模型 （见图4所示），该模型无需人工标注，通过self-supervision进行学习，并可以迁移至其他特定的任务。实验结果表明，在分割和分类的五个3D任务中，Models Genesis显著优于从头重新训练。另外，简单地从头重新训练得到的3D网络模型不一定比使用2D网络从ImageNet进行迁移学习的效果好，但是Models Genesis的效果始终优于其他2D迁移学习方法，包括对ImageNet预训练模型进行fine-tuning以及对2D Models Genesis模型进行fine-tuning，表明3D结构信息的重要性以及Models Genesis处理3D医学图像的有效性。该论文在MICCAI19中获得了 Best Young Scientist 奖。
论文发布：《医学图像分析》杂志
主题：图像和视频处理；计算机视觉和模式识别；机器学习
论文作者：Nima Tajbakhsh, PhD（体素科技首席科学家）
论文链接：https://arxiv.org/abs/1908.10454
相关文献：
[1] Tajbakhsh, N., Jeyaseelan, L., Li, Q., Chiang, J. N., Wu, Z., & Ding, X. (2020). Embracing imperfect datasets: A review of deep learning solutions for medical image segmentation. Medical Image Analysis, 101693.
[2] Tajbakhsh, N., Lai, B., Ananth, S., & Ding, X. (2019). ErrorNet: Learning error representations from limited data to improve vascular segmentation. arXiv preprint arXiv:1910.04814.
[3] Tajbakhsh, N., Hu, Y., Cao, J., Yan, X., Xiao, Y., Lu, Y., ... & Ding, X. (2019). Surrogate supervision for medical image analysis: Effective deep learning from limited quantities of labeled data. In 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)
[4] Zhou, Z., Sodha, V., Siddiquee, M. M. R., Feng, R., Tajbakhsh, N., Gotway, M. B., & Liang, J. (2019). Models genesis: Generic autodidactic models for 3d medical image analysis. In International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI 2019).
