打开文本图片集

摘要：随着点击率预测是推荐系统中的一项重要任务，近年来受到了广泛的关注。近年来研究的主要目的是强调通过使用各种组件（如深度神经网络DNN）挖掘低特征和高特征交互来获得有意义和强大的内在联系因子。在这项工作中，本文提出了DMR模型，该模型联合训练两个强大的特征表示学习组件的混合物。此外，DMR模型将具有零初始化连接的新残差与DNN和多头自关注组件集成在一起，以学习优越的输入表示。在三个真实数据集上的实验表明，所提出的模型在点击率预测任务中明显优于所有目前的模型。

关键词：推荐系统；CTR

1 引言

每天数以百万计的用户与不同的网站互动，搜索各种产品，这反映在网络广告和推荐系统的重要性日益增加。因此，准确预测点击率（CTR）在建立有效的个性化推荐系统中起着至关重要的作用，这可以对在线业务的收入产生积极的影响。因此，在过去的十年中，已经提出了几种机器学习方法，以专注于提高各种推荐设置中点击率预测的性能。CTR预测的一个主要方面是有效地学习不同输入域的丰富潜在表示。这方面已经通过应用各种技术来解决，从广泛和深度的网络开始[1]，基于机器的分解模型[2]依赖于输入字段的潜在表示之间的内积，从而捕获低阶特征交互。在本文中，提出了一种新的混合专家模型DMR，以捕获有效的特征交互，通过并行架构结合基于DNN的模型和基于自关注的模型的优点。

2 本文的方法论

2.1 问题描述

本文将点击率预测问题表述如下：给定一个包含个用户-项目交互实例（记录）（X， Y）的数据集，其中中的每个实例有个字段，表示目标用户、目标项目和交互上下文的特征。并且，每个实例都有一个对应的目标∈{0，1}，表示该项目是否被用户点击过。本文在CTR任务中的主要目标是在给定输入特征向量的情况下，预测用户点击某项的概率。

2.2 概述

本文提出的方法的主要目标是从组合每个输入实例的不同字段表示中获益。在文献中，堆叠全连接层以获得实例表示获得了较低模型复杂度的优越性能。此外，本文已经看到许多模型现在使用多头自关注来捕捉每个实例中不同领域之间的关系和相似性。这些模型能够通过理解这些基于自关注的（乘法）关系获得显著的性能。因此，在这项工作中，本文提出了一种用于CTR预测的多表示并行结构模型（DMR）。

2.3 模型建立

2.3.1 ReZero深度神经网络组件

在ReZero-dnn组件中，本文使用了一系列具有ReZero残余连接的完全连接层来学习每个输入实例的精细的表示。最后，这个输入向量被馈送到ReZero-DNN层，得到最终的表示：

2.3.2 ReZero多头自关注组件

多头自关注组件目前在时间序列预测、语言处理和推荐系统等许多领域都有应用。DMR还利用多头自关注组件通过捕获每个实例中字段的乘法关系来丰富提取的字段表示，从而允许模型学习更优的表示。随后，将输入分成查询（），键（K）和值（V），在指定数量的头部中应用多头自关注层。最后，根据前馈层得到组件的最终输出表示为，具体公式如下：

其中，∈是两个前馈层的权值矩阵，，∈是它们的偏置向量。表示Leaky_ReLU非线性激活，并按行连接向量。与原始的多头自关注加性残差连接相比，本文在多头自关注模块中应用了带有可学习参数的乘法ReZero连接，使网络能够更好地学习表征。

2.3.3 组合与预测

为了形成最终的输入表示，本文使用加权逐点求和将ReZero- dnn和ReZero多头自关注组件的输出表示组合在一起，如下所示：，。其中为多头自关注分量的输出，为决定各分支对最终输出表示的贡献的权重因子。

3 实验

实验的数据用的是星冰乐移动应用数据集。本文将加权残差连接（ReZero）合并到DNN中，使模型能够通过层传播初始信号，获得更好的场表示，并提高模型性能。另一方面，本文使用多头自关注组件捕获高阶乘法特征交互。最终，在三个公开可用的数据集上进行了实验。结果表明，所提出的模型始终优于最先进的模型。

4 参考文献

[1] Thomas Bachlechner， Bodhisattwa Prasad Majumder， Henry Mao， Gary Cottrell， and Julian McAuley. 2021. Rezero is all you need： Fast convergence at large depth. In Uncertainty in Artificial Intelligence. PMLR， 1352–1361.

[2] Heng-Tze Cheng， Levent Koc， Jeremiah Harmsen， Tal Shaked， Tushar Chandra， Hrishi Aradhye， Glen Anderson， Greg Corrado， Wei Chai， Mustafa Ispir， et al. 2016. Wide & deep learning for recommender systems. In Proceedings of the 1st workshop on deep learning for recommender systems. 7–10.