[1] Deep Interest Network for Click-Through Rate Prediction
Guorui Zhou, Chengru Song, Xiaoqiang Zhu Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, Kun Gai
Alibaba Group
KDD 2018
https://arxiv.org/pdf/1706.06978.pdf
点击率预估在工业应用中， 例如在线广告，是一项基本任务。最近，研究人员提出了基于深度学习的模型，这些模型遵循了嵌入+MLP范式。在这些方法中，大规模稀疏输入特征首先映射到低维嵌入向量，然后以分组方式转换为固定长度的矢量，最后将这些特征串联在一起，传入多层感知器 (MLP) 中，进而学习特征之间的非线性关系。
如此一来，无论候选广告是什么，用户特征都被压缩成固定长度的表示向量。在这里，使用固定长度的向量是一个瓶颈，这给嵌入&MLP方法从丰富的历史行为中有效地捕捉用户的多种兴趣带来了困难。本文提出了一种新的模型：深度兴趣网络(DIN)，通过一个局部激活单元来适应从某一广告的历史行为中了解用户兴趣的表达，进而解决了上述难题。
该表示向量因广告不同而不同，这就大大提高了模型的表达能力。此外，作者们还提出了两种技术：微型批量感知正则化和数据自适应激活函数，这两种技巧有助于训练具有数亿个参数的工业界深度网络。
在两个公共数据集以及包含超过 20 亿个样本的阿里巴巴真实生产数据集上的实验表明了本文所提方法的有效性，与最先进的方法相比，该方法的性能更优。DIN现已成功部署在阿里巴巴的在线展示广告系统中，用于服务主要流量。
本文主要贡献如下
阿里的广告展示系统图示如下
几类特征情况统计如下
网络结构图示如下
控制函数图示如下
PReLU函数定义如下
Dice定义如下
数据集信息统计如下
不同正则化方法的效果对比如下
几种方法的效果对比如下
不同正则方法的auc对比如下
几种方法的效果对比如下
代码地址
https://github.com/zhougr1993/DeepInterestNetwork
[2] Deep Interest Evolution Network for Click-Through Rate Prediction
Guorui Zhou, Na Mou, Ying Fan, Qi Pi, Weijie Bian, Chang Zhou, Xiaoqiang Zhu, Kun Gai
Alibaba Inc
AAAI 2019
https://arxiv.org/pdf/1809.03672.pdf
点击率 (CTR) 预估的目标是估计用户点击商品的概率，这是广告系统中的核心任务之一。在CTR预估模型中，需要捕获用户行为数据背后的潜在用户兴趣。另外，考虑到外部环境的变化以及内部认知，用户兴趣随时间的变化而变化。
至今已有多种CTR预测方法用于兴趣建模，然而大多数方法将行为表示直接视为兴趣，这就无法对具体行为背后的潜在兴趣进行建模。此外，这些方法很少考虑兴趣的变化趋势。
本文提出了一种用于CTR预估的新模型，深层兴趣演化网络，DIEN。具体来说，作者们提出了兴趣提取层，用于从历史行为序列中捕获随时间变化的兴趣。在此层中，通过引入辅助损失函数用于监督每步提取的兴趣。
由于用户兴趣多种多样，特别是在电子商务系统中，作者们利用兴趣演化层来捕捉相对于目标项目的兴趣演变过程。在兴趣演化层中，将注意力机制嵌入序列结构中，如此一来在兴趣演化过程中强化了相对兴趣的影响。
在公共数据集和工业数据集的实验中，DIEN 的效果显著优于最先进的解决方案。值得注意的是，DIEN已部署在淘宝的广告展示系统中，CTR提高了20.7%。
本文主要贡献如下
本文网络结构图示如下
数据集信息统计如下
几种模型在两个公开数据集上的auc对比如下
几种模型在工业数据集上的auc对比如下
AUGRU及辅助损失的效果如下
其中AUGRU为GRU with attentional update gate
不同损失函数的学习曲线对比如下
不同模型的AB测试结果如下
代码地址
https://github.com/mouna99/dien
[3] Deep Session Interest Network for Click-Through Rate Prediction
Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang
Alibaba Group, Zhejiang University
IJCAI 2019
https://arxiv.org/pdf/1905.06482.pdf
点击率 (CTR) 预估在许多工业应用中扮演着重要的角色，其中包含在线广告和推荐系统等。
如何从用户行为序列中获取用户的动态和不断变化的兴趣，在CTR预估中是一个持续的研究课题。然而，目前大多数研究人员都忽视了序列的内在结构，即序列是由会话组成的，而会话由发生时间分隔的用户行为构成。
作者们观察到，用户行为在每个会话中都是高度同质的，并且不同的会话中用户行为是异构的。基于此，作者们提出一种新CTR 模型，深度会话兴趣网络 (DSIN)，该模型利用用户的行为序列中的多个历史会话。
该模型首先使用带有偏置编码的自我注意机制来提取用户在每个会话中的兴趣。然后，利用Bi-LSTM 对用户的兴趣如何演变和会话之间的交互进行建模。最后，利用局部激活单元自适应地学习各种会话兴趣对目标项的影响。
在广告和生产推荐数据集上的实验表明，DSIN 优于其他最先进的模型。
几个会话的示例如下
本文的主要贡献如下
本文网络结构如下
几种方法在广告和推荐数据集上的AUC对比如下
自注意力机制图示如下
代码地址
https://github.com/shenweichen/DSIN
