Deep Multifaceted Transformers (DMT) 算法研究

Motivation

在电商推荐系统中，用户行为表现出多样性和复杂性。为了准确捕捉用户行为的多种模式，我们提出了一种新型模型——Deep Multifaceted Transformers（DMT）。该模型通过构建多层感知机，分别建模用户的点击序列、购物车序列和购买序列，从而学习用户的不同层次兴趣向量。具体而言，DMT通过使用多个Transformer同时建模用户行为序列，结合MMoE（Multi-gate Mixture-of-Experts）层来优化多目标预测任务，同时引入Bias Deep Neural Network来解决训练过程中的偏差问题。

Method

本文提出了一种全新的电商推荐模型——Deep Multifaceted Transformers（DMT），该模型主要包含以下三个核心组件：

Deep Multifaceted Transformers

DMT采用独立的Deep Interest Transformer对不同行为序列进行建模。通过自注意力机制（self-attention block），每个序列中的商品相互关联，从而更好地挖掘用户兴趣。各个行为序列的兴趣信息通过decoder学习目标商品的兴趣向量，从而获得不同层次的兴趣表示。

Multi-gate Mixture-of-Experts Layers

在电商推荐系统中，通常需要处理多个任务目标，如点击率（CTR）、点击价值（CVR）和购买额（GMV）。为了有效统一这些任务目标，DMT结合Multi-gate Mixture-of-Experts（MMoE）层进行多任务预测。该层通过动态调整注意力门控机制，刻画不同任务之间的相互关系，从而生成综合优化的预测结果。

Bias Deep Neural Network

DMT引入了Bias Deep Neural Network来缓解训练数据的选择偏差问题。针对电商系统中的两种主要偏差——位置偏差（position bias）和邻居偏差（neighboring bias），该网络能够建模用户的实际偏好，从而减少隐式反馈数据对模型训练的影响。

Model Training and Prediction

模型的训练过程如下：

任务预估：对于每个任务（如CTR、CVR、GMV），模型预估一个分数，该分数由多任务学习层和偏差神经网络的结合结果决定。

损失函数：使用交叉熵损失函数对每个任务目标进行优化，同时通过加权总损失（基于任务权重）综合考虑多任务预估结果。

预测输出：通过sigmoid函数将模型输出转化为概率值，最终生成推荐结果。

Experiments

通过在真实电商场景下的大规模实验验证，DMT显著优于现有方案的表现。在点击率预估任务中，DMT的均方误差（MSE）较基线方案下降了15%，在购物车转化率预估任务中则降低了10%。同时，模型的训练效率也得到了显著提升，参数量和训练时间均控制在合理范围内。

Conclusion

本文提出了一种全新的电商推荐模型——Deep Multifaceted Transformers（DMT），通过多任务学习、复杂偏差建模和高效注意力机制，显著提升了推荐系统的性能。未来的工作将进一步优化模型的识别能力，并探索其在其他推荐场景中的应用价值。

转载地址：http://xzggz.baihongyu.com/

你可能感兴趣的文章