欢迎光临 x-algo
关注算法在工业界应用
Hi, 这是一个关注大数据算法在工业界应用的网站

Wide&Deep/DeepFM/NIM/NIEM

本文记录几个在广告和推荐里面rank阶段常用的模型

Wide&Deep

在推荐的场景中,最重要的行为数据是点击(下载/购买)数据,传统的Wide类型的特征可以对确定性的推荐很好的建模, 如果考虑到多样性,就需要对稀疏数据和"没有直接观测到"的行为数据建模.deep部分可以对多阶的行为传导更好的表达.

9.2.36

值得注意的是,最后一层中Deep和Wide部分是如何合并到一起的. 文中的做法是讲Wide部分的特征和Deep部分的最后一层的特征对齐,然后统一送入到一个逻辑回归模型中:

9.2.37 Wide部分的特征一般非常稀疏,作用范数的时候在batch的场景效率会有问题,所以需要针对Wide部分使用FTRL训练.

论文:Wide & Deep Learning for Recommender Systems

DeepFM

  1. 上面的Wide&Deep模型中的Wide部分,没有针对两两组合特征进行建模(手动组合特征太耗人工并且不能穷举)
  2. DeepFM分为两部分,一部分是DNN另外一部分是传统的FM,在需要interaction计算内积的地方和dense部分共享embedding

 

9.2.31

注意观察上图中FM Layer中黑色的连线和红色的输入线.

FNN/PNN/Wide&Deep对比图(查看大图):

9.2.32

一个对比表:

9.2.33

DIN/DIEN

DIN 论文:Deep Interest Network for Click-Through Rate Prediction

  1. 对user的embedding考虑了具体的广告,固定长度的user embedding对兴趣的多样性不能很好的描述
  2. sum pooling将不同长度的点继续列变为一个,统一了结构.
  3. 在训练上,提出了 mini-batch aware regularization and data adaptive activation function,第一个点通过FTRL应该也可以实现;第二个通过BN层+普通激活函数应该也可以替换.(这两个感觉是重复造轮子)

 

9.2.34

DIEN: Deep Interest Evolution Network for Click-Through Rate Prediction

  1. 使用类似语言模型预测下一个词,尽可能去预测下一个可能的兴趣.
  2. 使用attention, 由于兴趣的diversity, 防止兴趣的淹没

9.2.35

 

未经允许不得转载:大数据算法 » Wide&Deep/DeepFM/NIM/NIEM

评论 抢沙发

*

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

关注大数据算法在工业界应用

本站的GitHub关于本站