DIN 模型速记

第一篇我们从阿里的深度兴趣网络（Deep Interest Network）开始。很多同学已经非常熟悉这篇文章了，但我觉得一篇优秀的文章多强调几遍也不为过。说这篇文章好，主要有三个原因：

1. 一是因为这篇文章的工程性很强。工程性很强的文章首先是便于实现的，其次你可以从字里行间看到很多实践出真知的影子，比如DIN这篇文章中GAUC这样的metric的改进，以及Dice这样的激活函数的创新，都是对经典知识在实践中改进的例子。
2. 第二个原因是因为这篇文章对用户行为的观察非常精准。有句话说做推荐其实就是“揣摩人心”，你把用户的行为和习惯揣摩好了，才能够以此出发，从技术上映射用户的习惯。DIN这篇文章有效的利用了用户兴趣多样性以及当前候选商品仅与用户一部分兴趣有关这一特点，引入注意力机制，这是非常精准的动机。
3. 第三个原因是模型的微创新，从低维到高维是创新，从离散到连续是创新，从单一到融合也是创新，这篇文章把NLP大行其道的注意力机制引入推荐领域，当然是典型并且有效的创新手段，也是所有算法工程师应该学习的地方。

好了，到这里为止我们基本讲完了这篇文章的重点部分，如果说上面的部分是文70%的价值所在，那么余下30%应该还有这么几点：

• 用GAUC这个离线metric替代AUC
• 用Dice方法替代经典的PReLU激活函数
• 介绍一种Adaptive的正则化方法
• 介绍阿里的X-Deep Learning深度学习平台

 https://github.com/zhougr1993/dien/blob/master/script/model.py

https://zhuanlan.zhihu.com/p/51623339