用于极端分类的树和表征的同时学习，可用于语言建模（Simultaneous Learning of Trees and Representations for Extreme Classification, with Application to Language Modeling）
摘要:本论文解决了带有极大数量类别的多类别分类（multi-class classification）问题，其中类别预测器（class predictor）是与数据表征进行联合学习得到，这与语言建模问题的案例有些类似。该预测器具有一个分层的结构，这有利于高效地应对需要处理非常大量的标签的设置。但是，这种模型的预测能力严重依赖于其树结构（structure of the tree）。我们使用一种用于树构建和训练的算法解决了这个问题，该算法基于一种新的目标函数，该函数有利于平衡的和容易分开的节点分区（node partitions）。我们描述这种目标函数的理论性质，并表明它能产生一个我们可以提供分类误差边界的 boosting 算法；即，我们表明：如果目标在树的内部节点中是弱优化的，那么我们的算法将会放大这种弱的优势，从而构建一个能实现任何所需水平的精确度的树。我们通过将条件密度评估（conditional density estimation）重构为分层分类问题的一种变体而将这种算法应用到了语言建模问题上。我们经验性地证明了：和非层次化的对应方法相比，在文本数据上，我们提出的方法能实现在困惑度（perplexity）和计算运行时间上的高质量的树。
