以下是罗远飞在先荐推荐系统学院第一期线上活动中的技术分享：
大家好！我是第四范式的罗远飞！
很高兴能有机会和大家一起交流关于自动机器学习方面的一些工作。我在第四范式的工作大都和自动机器学习相关，之前的精力主要集中在自动特征工程。虽然模型改进能够带来稳定的收益，但是更为困难。所以如果是在做一个新的业务，可以先尝试从做特征入手，特征工程往往能够带来更明显的收益。
AutoCross的背景
本次报告所提及的自动机器学习，是针对表数据的自动机器学习。表数据是一个经典的数据格式，它一般包含多列，列可能对应离散特征或者连续特征。我们不能将用于图像、语音或者NLP中的模型直接拿过来用，需要做特定的优化。
本次报告提及的特征组合，特指feature crossing，即两个离散特征的笛卡尔积。以“去过的餐厅”为例，我经常去麦当劳，那么我和麦当劳可以做为一个组合特征；再比如我去肯德基，则我和肯德基也可做为一个组合特征。
本次报告提及的自动特征工程，是指自动从上表数据中发现这些有效的组合特征。比如我是一位软件工程师，是一个特征；在第四范式工作，是另外一个特征。这两个特征是分成两列储存的，我们可以把这两列组合成一个新的特征，这个特征的指示性更强，更具有个性化。
为什么需要自动特征工程呢？
首先，特征对建模效果有着非常重要的作用。其次，客户的场景远比建模专家多，如我们的先荐业务有上千家媒体，我们不能给每个业务都配备一个专家，针对每一个场景人工去建模。最后，即使只有一个业务，数据也是多变的，面临的场景也是不停变化的，所以我们要做自动特征工程，不能让人力和我们的业务量呈正比。
AutoCross的相关研究
自动特征工程主要分为两大类，一类是显式特征组合，另一类是隐式特征组合。
显式的特征组合
显式的特征组合有两个代表性工作，分别是RMI [2]和CMI [3]。其中字母“MI”代表互信息（Mutual Information），是一个经典的特征选择的方法。
MI是通过统计同一个数据中，两列特征的出现频率和共现频率计算得到。但是RMI的做法是在训练集合统计一部分信息，在另外一部分成为reference数据上统计另外一部分信息，这也是“R”的来源。上图来自于RMI的论文[2]，表示随着不同的组合特征加进去，然后AUC逐渐地上涨。CMI是另外一个经典的工作，CMI通过分析对率损失函数，结合牛顿法，计算出每个特征的重要性。
它们都取得了不错的效果。但一方面，它们只考虑二阶特征组合；另外，它们均为串行算法，每次选择一个组合特征后，都需把其他特征重新训练一遍，是O(n^2)复杂度，其中n为特征数目。此外，MI本身不允许一个特征下同时出现多个取值。
隐式的特征组合
另外一类是隐式特征组合，大家可能更熟悉一些。FM[4]和FFM[5]是枚举所有的二阶特征组合，它们组合方式是用低维空间中的内积去代表两个特征的组合，取得了很好的效果。随着DL的兴起，现在更流行基于DNN做隐式特征组合。但是它的可解释性不强，一直被大家诟病。
我们提出AutoCross[1]，它具有很强的可解释性，能够做到高阶特征组合，同时具有较高的Inference效率。
AutoCross整体结构
从左往右看，AutoCross的输入是数据和对应的特征类型，然后经过AutoCross的Flow，输出一个特征生成器，能够把学到的特征处理方式应用于新数据。
Flow里主要有三个部分，首先是预处理，然后是组合特征生成和组合特征选择的迭代过程。针对数据预处理，我们提出了多粒度离散化；针对怎么从指数级空间中有效的生成组合特征，我们用了集束搜索（Beam Search）；针对如何有效且低代价地特征选择，我们提出了逐域对数几率回归（Field-wise LR）和连续小批量梯度下降（Successive Mini-batch GD）两种方法。
AutoCross算法
下面我们看一下每个过程所涉及的算法。
首先是数据预处理，数据预处理的目的是补充缺失值，并将连续特征离散化。我们观察到，对于连续特征，在离散化的时候，如果选择的离散化粒度不一样，其效果会差别非常大。甚至在一个数据集上观察到AUC有10个百分点的差异。如果对每一个数据集都手动设置最优的离散化粒度，代价比较高，也不现实。
基于此我们提出了多粒度离散化方法，同时使用多种粒度去离散化同一个特征，比如特征“年龄”，我们按照年龄间隔为5的离散化一次，年龄间隔为10的离散化一次，年龄间隔为20的再离散化一次，同时生成多个不同的离散化特征，让模型自动去选择最适合它的特征。
集束搜索（Beam Search）
如前文所述，假设有n个原始特征，那么可能的k阶特征有O(n^k)个，这是一个指数级增长的过程。如何在这个空间中有效地去搜索、生成、组合特征呢？如果都生成，在计算和存储上都不太可行。
我们借鉴集束搜索（Beam Search）的方法来解决该问题。它的工作原理是，先生成一部分二阶组合特征，然后用效果好的二阶组合特征去衍生三阶组合特征，并非生成所有的三阶组合特征，相当于一种贪心的搜索方法。
逐域对数几率回归（Field-wise LR）
我们通过多粒度离散化对数据进行预处理，之后通过集束搜索缩减搜索空间。
但生成的特征依然数量众多，怎么才能快速、低代价地从生成特征中选出有效的特征呢？对此，我们提出了逐域对数几率回归（Field-wise LR）算法，固定已选特征对应的模型参数，然后计算候选特征中哪个特征加进来，能够最大程度的提升模型效果。这样做能够显著节约计算、通信和存储上的开销。
连续小批量梯度下降（Successive Mini-batch GD）
为了进一步降低特征评估成本，我们又提出了连续小批量梯度下降（Successive Mini-batch GD）方法。在小批量梯度下降的迭代过程中，逐渐淘汰不显著的候选特征，并给予较重要的特征更多批的数据，以增加其评估准确性。
AutoCross-System优化
下面介绍我们在系统上做的一些优化。
缓存特征权重
从算法上来看，我们的系统是一个指数空间的搜索问题，即使能够降低其复杂度，它的运算代价依然很大。因此我们会对数据采样，并序列化压缩存储。
之后，当运行逐域对数几率回归时，系统会把已经计算过的特征权重缓存下来。如果按照以前的方法，我们需要先从参数服务器上获取已经生成特征的权重，这一步会带来网络开销；获取之后要做运算，并生成该特征及预测 ，这一步会产生计算开销；生成特征之后，再存储到硬盘中，进一步会产生存储成本。但是，我们把之前的那些特征的权重都给缓存下来，通过直接查表，就能够降低网络、计算、存储的开销。
在线计算
除了缓存特征权重之外，我们还进行了在线计算。我们在做特征生成的同时，有独立的线程去序列化数据和生成特征。
数据并行
此外，数据并行也是系统优化的常用方法。系统的每个进程中都有一份计算图，并通过主节点，或者参数服务器，保证它们之间有序地在进行各个操作。
AutoCross实验
下图是我们的实验结果。
这里的baseline有两个。我们首先看AutoCross产生的特征对LR的帮助。当我们把AutoCross的特征放进LR之后，其效果变化很明显（第1行和第2行）。同时，我们对比了AutoCross和CMI两种方法（见第2行和第4行）。经过对比后发现， AutoCross始终优于CMI。
为验证AutoCross产生的特征是否会对深度模型有帮助，我们同样把AutoCross的特征和W&D模型结合（见第3行）。我们发现，当我们把特征给W&D之后，W&D模型也取得了很不错的效果，在10个数据集上效果均能和当前最好的深度学习模型相媲美。
参考文献
[1] Yuanfei, Luo, Wang Mengshuo, Zhou Hao, Yao Quanming, Tu WeiWei, Chen Yuqiang, Yang Qiang, and Dai Wenyuan. 2019. “AutoCross: Automatic Feature Crossing for Tabular Data in Real-World Applications.” KDD.
[2] Rómer Rosales, Haibin Cheng, and Eren Manavoglu. 2012. Post-click conversion modeling and analysis for non-guaranteed delivery display advertising. WSDM.
[3] Olivier Chapelle, Eren Manavoglu, and Romer Rosales. 2015. Simple and scalable response prediction for display advertising. TIST.
[4] Rendle, Steffen. "Factorization machines." 2010. ICDM.
[5] Yuchin Juan, Yong Zhuang,Wei-Sheng Chin, and Chih-Jen Lin. 2016. Field-aware factorization machines for CTR prediction. In ACM Conference on Recommender Systems.
[6] Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, and Xiuqiang He. 2017. DeepFM: a factorization-machine based neural network for CTR prediction. IJCAI.
