Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心
机器之心原创
达摩院作者

达摩院开源半监督学习框架Dash，刷新多项SOTA

本文介绍机器学习顶级国际会议 ICML 2021 接收的 long talk (top 3.02%) 论文 “Dash: Semi-Supervised Learning with Dynamic Thresholding”。

一、研究背景


监督学习（Supervised Learning）


我们知道模型训练的目的其实是学习一个预测函数，在数学上，这可以刻画成一个学习从数据 (X) 到标注 (y) 的映射函数。监督学习就是一种最常用的模型训练方法，其效果的提升依赖于大量的且进行了很好标注的训练数据，也就是所谓的大量带标签数据 ((X,y))。但是标注数据往往需要大量的人力物力等等，因此效果提升的同时也会带来成本过高的问题。在实际应用中经常遇到的情况是有少量标注数据和大量未标注数据，由此引出的半监督学习也越来越引起科学工作者的注意。

半监督学习（Semi-Supervised Learning）



半监督学习同时对少量标注数据和大量未标注数据进行学习，其目的是借助无标签数据来提高模型的精度。比如 self-training 就是一种很常见的半监督学习方法，其具体流程是对于标注数据 (X, y) 学习数据从 X 到 y 的映射，同时利用学习得到的模型对未标注数据 X 预测出一个伪标签，通过对伪标签数据 (X, )进一步进行监督学习来帮助模型进行更好的收敛和精度提高。

核心解决问题



现有的半监督学习框架对无标签数据的利用大致可以分为两种，一是全部参与训练，二是用一个固定的阈值卡出置信度较高的样本进行训练 (比如 FixMatch)。由于半监督学习对未标注数据的利用依赖于当前模型预测的伪标签，所以伪标签的正确与否会给模型的训练带来较大的影响，好的预测结果有助于模型的收敛和对新的模式的学习，差的预测结果则会干扰模型的训练。所以我们认为：不是所有的无标签样本都是必须的！

二、论文 & 代码


  • 论文链接：https://proceedings.mlr.press/v139/xu21e/xu21e.pdf
  • 代码地址：https://github.com/idstcv/Dash
  • 技术应用：https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary


这篇论文创新性地提出用动态阈值（dynamic threshold）的方式筛选无标签样本进行半监督学习（semi-supervised learning，SSL）的方法，我们改造了半监督学习的训练框架，在训练过程中对无标签样本的选择策略进行了改进，通过动态变化的阈值来选择更有效的无标签样本进行训练。Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。实验方面，我们在 CIFAR-10, CIFAR-100, STL-10 和 SVHN 等标准数据集上充分验证了其有效性。理论方面，论文从非凸优化的角度证明了 Dash 算法的收敛性质。


三、方法

Fixmatch 训练框架



在引出我们的方法 Dash 之前，我们介绍一下 Google 提出的 FixMatch 算法，一种利用固定阈值选择无标签样本的半监督学习方法。FixMatch 训练框架是之前的 SOTA 解决方案。整个学习框架的重点可以归纳为以下几点：

1、对于无标签数据经过弱数据增强（水平翻转、偏移等）得到的样本通过当前的模型得到预测值

2、对于无标签数据经过强数据增强（RA or CTA）得到的样本通过当前的模型得到预测值

3、把具有高置信度的弱数据增强的结果，通过 one hot 的方式形成伪标签，然后用 和 X 经过强数据增强得到的预测值  进行模型的训练。

fixmatch 的优点是用弱增强数据进行伪标签的预测，增加了伪标签预测的准确性，并在训练过程中用固定的阈值 0.95（对应 loss 为 0.0513) 选取高置信度（阈值大于等于 0.95，也就是 loss 小于等于 0.0513）的预测样本生成伪标签，进一步稳定了训练过程。

Dash 训练框架

针对全部选择伪标签和用固定阈值选择伪标签的问题，我们创新性地提出用动态阈值来进行样本筛选的策略。即动态阈值 是随 t 衰减的


式中 C=1.0001,是有标签数据在第一个 epoch 之后 loss 的平均值，我们选择那些的无标签样本参与梯度回传。下图展示了不同值下的阈值 的变化曲线。可以看到参数 控制了阈值曲线的下降速率。 的变化曲线类似于模拟训练模型时损失函数下降的趋势。


下图对比了训练过程中的 FixMath 和 Dash 选择的正确样本数和错误样本数随训练进行的变化情况（使用的数据集是 cifar100）。从图中可以很清楚地看到，对比 FixMatch，Dash 可以选取更多正确 label 的样本，同时选择更少的错误 label 的样本，从而最终有助于提高训练模型的精度。


我们的算法可以总结为如下 Algorithm 1。Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。为了方便，在本文的实验中我们主要将 Dash 与 FixMatch 集成。更多理论证明详见论文。


四、结果

我们在半监督学习常用数据集：CIFAR-10，CIFAR-100，STL-10 和 SVHN 上进行了算法的验证。结果分别如下：



可以看到我们的方法在多个实验设置上都取得了比 SOTA 更好的结果，其中需要说明的是针对 CIFAR-100 400label 的实验，ReMixMatch 用了 data align 的额外 trick 取得了更好的结果，在 Dash 中加入 data align 的 trick 之后可以取得 43.31% 的错误率，低于 ReMixMatch 44.28% 的错误率。

五、应用

实际面向任务域的模型研发过程中，该半监督 Dash 框架经常会被应用到。接下来给大家介绍下我们研发的各个域上的开源免费模型，欢迎大家体验、下载（大部分手机端即可体验）：

  • https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary
  • https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary
  • https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary
  • https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary
  • https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary
  • https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary
  • https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary
  • https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
  • https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
  • https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary
  • https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary
  • https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary
理论半监督学习阿里巴巴达摩院
相关数据
半监督学习技术

半监督学习属于无监督学习（没有任何标记的训练数据）和监督学习（完全标记的训练数据）之间。许多机器学习研究人员发现，将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理（例如转录音频片段）或物理实验（例如，确定蛋白质的3D结构或确定在特定位置处是否存在油）。因此与标签处理相关的成本可能使得完全标注的训练集不可行，而获取未标记的数据相对便宜。在这种情况下，半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣，也是人类学习的典范。

来源：Wikipedia
参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科
收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。 通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：WikipediaGoogle ML glossary
凸优化技术

凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用，如次导数等。 凸优化应用于很多学科领域，诸如自动控制系统，信号处理，通讯和网络，电子电路设计，数据分析和建模，统计学（最优化设计），以及金融。在近来运算能力提高和最优化理论发展的背景下，一般的凸优化已经接近简单的线性规划一样直捷易行。许多最优化问题都可以转化成凸优化（凸最小化）问题，例如求凹函数f最大值的问题就等同于求凸函数 -f最小值的问题。

来源：维基百科
损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia
映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia
监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia
样本通机构

品冠天成是一支以「Mobile First」理念驱动的团队，致力于为企业，尤其是传统企业，打造移动互联网产品解决方案。 公司核心团队来自移动互联网、工业媒体、数据挖掘等多个专业领域，符合的行业背景和跨界的知识结构形成了品冠天成的独特优势。目前客户包含西门子、ABB、施耐德、三菱、东芝等多家全球 500 强企业。

http://www.yangbentong.com/
推荐文章
登录后评论
暂无评论
暂无评论~
返回顶部