背景
FM 模型引入了二阶特征的交叉方法,但是在 FM 中,所有二阶特征的权重是一样的,在实际中,应该给重要的交叉特征更大的权重,对一些可能引入噪音的特征给一个非常小的权重或0
AFM 通用引入一个 attention 结构,让模型自己调节二阶特征的权重
模型结构
AFM 模型的结构如上图所示(省略了线性回归部分)
AFM 模型原理可以用如下公式表示:
其中,aij 就是 attention 结构的计算结果,计算原理如下所示:
总结
AFM 模型的优点在上面已经提到了,但是 AFM 模型增加了模型复杂度,模型是否能学的好,需要实践,论文中提到在回归任务中有比较大的提升,在分类任务中表现怎么样呢?
AFM 其实相当于一种特征交叉方法