谷歌推出用于神经网络噪声数据训练的 Bi-Tempered Logistic Loss
机器学习模型处理嘈杂训练数据的能力在很大程度上取决于训练过程中使用的损失函数。对于分类任务,则是用于训练的标准损失函数为logistic loss。然而,这一独特的损失函数在处理嘈杂的训练示例时,由于存在以下两个特性而存在不足:远在外的异常值可以控制整体损失;附近贴错标签的例子可以延伸决策边界。来自谷歌人工智能研究所的研究团队近日在一篇论文中介绍了一种引入具有匹配了两个可调参数的 logistic loss 的「bi-tempered」概括来解决这两个问题。除此以外,研究人员还介绍了一种交互式可视化来允许用户通过双稳态逻辑损失可视化神经网络训练过程。