大数据算法本文记录几个在广告和推荐里面rank阶段常用的模型
Wide&Deep
在推荐的场景中,最重要的行为数据是点击(下载/购买)数据,传统的Wide类型的特征可以对确定性的推荐很好的建模, 如果考虑到多样性,就需要对稀疏数据和"没有直接观测到"的行为数据建模.deep部分可以对多阶的行为传导更好的表达.
值得注意的是,最后一层中Deep和Wide部分是如何合并到一起的. 文中的做法是讲Wide部分的特征和Deep部分的最后一层的特征对齐,然后统一送入到一个逻辑回归模型中:
Wide部分的特征一般非常稀疏,作用范数的时候在batch的场景效率会有问题,所以需要针对Wide部分使用FTRL训练.
论文:Wide & Deep Learning for Recommender Systems
DeepFM
- 上面的Wide&Deep模型中的Wide部分,没有针对两两组合特征进行建模(手动组合特征太耗人工并且不能穷举)
- DeepFM分为两部分,一部分是DNN另外一部分是传统的FM,在需要interaction计算内积的地方和dense部分共享embedding
注意观察上图中FM Layer中黑色的连线和红色的输入线.
FNN/PNN/Wide&Deep对比图（查看大图）：
一个对比表：
DIN/DIEN
DIN 论文：Deep Interest Network for Click-Through Rate Prediction
- 对user的embedding考虑了具体的广告,固定长度的user embedding对兴趣的多样性不能很好的描述
- sum pooling将不同长度的点继续列变为一个,统一了结构.
- 在训练上,提出了 mini-batch aware regularization and data adaptive activation function，第一个点通过FTRL应该也可以实现;第二个通过BN层+普通激活函数应该也可以替换.(这两个感觉是重复造轮子)
DIEN: Deep Interest Evolution Network for Click-Through Rate Prediction
- 使用类似语言模型预测下一个词,尽可能去预测下一个可能的兴趣.
- 使用attention, 由于兴趣的diversity, 防止兴趣的淹没
未经允许不得转载：大数据算法 » Wide&Deep/DeepFM/NIM/NIEM