本文选择深度学习细分种类下的少样本学习(Few-Shot Learning)这个话题。近两年来我们注意到学界开始改变之前大数据好效果的模型训练方式,关注用少量的数据来达到较好的任务表现,目前此类方法还处在学界探索实验阶段,在业界运用还不算普及(由于业界产品对模型精确度有比较高的要求,且大多针对的都是特定业务细分场景),然而该方向『小数据学好模型』的思想对之后的机器学习研究和应用都具有非常好的前景以及应用潜力,所以笔者今年挑了四篇思路和方法都比较新颖,同时结果也具有说服力的少样本学习的文章进行了比较细致的引读和推荐,文章内容涵盖物体分类、物体检测任务,以期给关注这个方向的读者更多的启发。
由于篇幅有限,在详细介绍的四篇论文之外,我们还准备了几篇同样非常新颖的少样本学习工作做了简略的介绍,这部分文章涉及图像检索,人脸反欺诈,长尾数据分类等任务,最后我们将筛选的本届 CVPR 接受的几篇少样本学习或者相关的半监督学习文章的原文和名称都附到了文章末尾供读者参考。
分类任务上的少样本学习
1.Edge-Labeling Graph Neural Network for Few-shot Learning(classification)
paper: https://arxiv.org/abs/1905.01436
code: https://github.com/khy0809/fewshot-egnn
图网络(Graph Neural Network, GNN)由于节点与节点之间具有相关性可以实现更丰富的信息传递,在近期来涉及到的推理问题(Reasoning)或者是视觉问答(Visual Question Answering)等任务上都有不少的尝试,而少样本学习(few-shot learning)的难点通常是在于可用样本有限,所以样本之间潜在的关联性在学习过程中就变得非常重要了,通用的前传网络很难捕捉到样本之间丰富的关联信息,图网络正好可以弥补这一点:图网络在节点之间构建的丰富的连接,使得其能够利用节点之间的信息传递机制得到邻节点的信息并且进行聚合,通过一定复杂程度的图网络,就能够表达数据个体之间丰富的关联互动特征。
常见的图网络关注于节点的表示与特征嵌入,为了更充分的利用节点的关联信息,本篇论文提出了边标记图网络(Edge-Labeling Graph Neural Network,EGNN),类比于关注节点信息的 GNN,EGNN 通过迭代更新连接边的信息直接可以反映节点之间的类内相似度(intra-cluster similarity)与类间差异度(inter-cluster dissimilarity)从而获取正确的类别分配结果。另一方面,EGNN 在无需 re-train 的情况下能很好地适应不同数目的类别,并且很容易扩展到转换式推理(Transductive Inference)上面,同时在现有的 GNN 方法中,EGNN 在分类任务上实现了大幅的性能提升。
在完整观察 EGNN 结构之前,我们先理解 EGNN 里的节点与对应的连接边信息的基本更新方式:
在图中首先更新节点特征,之后再更新节点之间连接边的特征,因为一组节点的特征有变化,进而也会影响到连接边上的特征,以及衡量节点之间的类内相似度(intra-cluster similarity)与类间差异度(inter-cluster dissimilarity)的参数也会对应得到更新,在边和点的特征都得到更新之后,计算边损失(Edge Loss),用 episodic training 的训练策略来更新 EGNN 的权重。