抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
近日,来自伊利诺伊大学香槟分校(UIUC)、Adobe 研究院和俄勒冈大学的研究者提出了一种名为 HDMatt 的新方法,这是首个处理高分辨率输入图像的深度学习抠图方法。早在 2017 年,Adobe 等机构就发表论文《Deep Image Matting》,采用大规模数据集与深度神经网络学习图像的自然结构,进一步分离图像的前景与背景。而那篇论文的一作 Ning Xu 正是这篇论文的第二作者。只不过,研究者这次将矛头对准了高分辨率图像。具体来说,HDMatt 方法使用新型模块设计,以基于 patch 的剪裁 - 拼接方式(crop-and-stitch)为高分辨率输入图像进行抠图,进而解决不同 patch 之间的语境依赖性和一致性问题。基于 patch 的原版推断方法单独计算每个 patch,而该研究提出了新的模块——CrossPatch Contextual module (CPC),该模块由给定的 trimap 指导,对跨 patch 语境依赖性进行建模。大量实验表明了该方法的有效性及其对于高分辨率输入图像的必要性。HDMatt 方法在 Adobe Image Matting 和 AlphaMatting 基准上均实现了新的 SOTA 性能,并且在更真实的高分辨率图像上获得了优秀的效果。