摘要
最近基于session的推荐系统火热起来，但是大多数的工作没有考虑用户长期的稳定偏好和演变。这篇文章提出了一个novel Behavior-Intensive Neural Network（BINN）模型，该模型结合了用户的历史稳定偏好和当前的购买动机，来进行下一次推荐。该模型的两个主要部件分别为：Neural Item Embedding 和 Discriminative Behaviors Learning 。有区别的学习目标用户的历史偏好和当前动机。
看完摘要
问题1：历史稳定偏好是如何知道稳定的呢？
问题2：这两部件是怎么实现？
模型
随着时间的变化用户的历史行为自然的会形成一个行为交互序列，我们用以下的形式代表
其中$|H|=n$表示用户的数量。对于每一个用户$u$都会有对应的交互序列
其中$x_j$代表用户$u$与第$j$个item进行交互，$b_j$表示行为类型(比如：点击，加入购物车，购买)，我们的the next-based的推荐任务就是去预测下一个item,即$x_{T+1}$
Neural Item Embedding
首先回顾Google的word2vec，Skip-gram的模型结构
Skip-gram模型
Skip-gram是利用当前词预测其上下文词。给定一个训练序列$w_1,w_2,...,w_T$，该模型的目标函数是最大化平局的log概率：
其中$c$表示context的大小，c越大，训练样本越大，准确率越高，同时训练时间也变长。在skip-gram模型中，$P(w_{i+j}|w_t)$利用softmax函数定义如下：
其中$W$是语料库的大小，但是在通常情况下，语料库特别大，直接计算不现实。为了解决这个问题，提出了2种方法，一个是hierarchical softmax，另一个方法是negative sample。对于negative sample，具体就是把目标函数修正为
其中$P_n(w)$是噪声分布。即训练目标是使用logistics regression区分出目标词和噪音词。
item2vec原理
item2vec就是把用户的交互行为序列当成一个word2vec种句子，出现在同一个集合的商品被视为positive。对于集合$w_1,w_2,...,w_k$目标函数：
同时也采用负采样， 并将skip-gram中的sfotmax函数代替为
其中参数$N$为确定每个positive要绘制的negative的数量
w-item2vec
在本篇文章中，作者改进了item2vec。
作者认为，和普通的句子不同的是，有些item是经常被访问，即在$H$中将会经常出现这些商品，这是因为用户在进行商品的对比和选择，所以往往会有相似的物品交叉出现，这也表明了作者的动机，同时，那些低频率的商品可能是用户无意间点击的，这样可以去除噪音。所以，目标函数改写为
其中
是在序列中$x_i$出现的频率，同时目标函数变成：
Discriminative Behaviors Learning
一个用户的决定过程包含两个因素：用户的当前动机和历史偏好。在短期内用户的购买动机的动态的，并且短期的波动影响短期的特征。考虑到最近的行为（比如：点击，收藏，购买）可能会暗示作者当前的购买动机，所以我们使用all types of recent behaviors去代表最近的购买动机，但是在另一方面，考虑到并不是所有的最近behavior可以代表用户的偏好，比如用户点击了一个item但是最后并没有购买它，则可以认为用户不喜欢这个item。所以，我们只保留可以清晰描述用户当下偏好的交互。
实际上，用户的交互过程是一系列随时间变化的反馈函数。往往传统的推荐系统对交互历史采用静态的方法，但是作者是通过序列模型进行the next item 推荐。我们设计了以下两个behavior alignments，它们都是基于LSTM的
Session Behaviors Learning
对于一个用户$u$，假设我们已经有了如下交互序列
同时，我们还有embedding item
对于行为$b_i$是用one-hot来表示的，并且向量的长度是交互类型的数量，比如：点击。为了确定某一个item$x_i$是否为session行为的元素，SBL的判别函数$D_{SBL}$为
其中$Phi(a)$可以计算一个判别信号，如果$a$为真，则函数值为1，反之，如果$a$为假，则函数值为0，$x_{t-1}$是预测项目的前一个项目，$ts$是一个控制指标去SBL的长度。具体来讲，如果是一个session based scenario，$ts$就是session的长度，对于non-session scenario,$ts$就是人工设置的。在这篇文章中，作者设置$ts$为10.
为了session behavior的一致性，我们设计了Contextual LSTM来去学习用户的当前购买动机，初始化后，隐藏层$h_j$的状态是由前一个隐藏层的状态$h_{j-1}$，当前item embedding $v_j$，和之前behavior 向量$b_j$
其中$i_j$,$f_j$和$o_j$分别是输入门，遗忘门和输出门，$j$代表第$j$步，$v_j$是item的embedding向量，$b_j$是一个behavior向量，$c_j$是记忆单元，$hat{b}$是偏置项，$h_j$是第$j$步的输出。
最终我们的输入$h_{t-1}$代表着用户$u$当前的购买动机,通过上述网络结构，SBL可以很自然地对用户会话行为的波动进行建模，获得当前消费动机的表征。
Preference Behaviors Learning
PBL用来学习用户长期的稳定的历史偏好。实际上，只用部分行为可以反映用户偏好，因此为了确定某一个交互$(v_i,b_i)in{S_u}$是否为偏好行为的一个可能因素，判别函数$D_{PBL}$可以定义为
其中$P$是一个集合，包含了所有的行为类型，比如：收藏，购买。
不同于SBL，PBL表示全部的历史偏好，所有波动较小，所以CLSTM不能重复使用，受双向RNN的影响，作者设计了一个双向CLSTM结构，名为Bi-CLSTM,这样可以充分利用上下文关系。
最后通过一个全连接层，我们就可以得到$d$维的下一项item$hat{v_t}$
模型学习和测试
采用了MSE损失函数
其中$zeta$是MSE函数，$v_t$是目标用户u在下一次访问中访问的项的表示，$ts$是控制因子，$|S_u|$代表交互序列的长度，$|H|$为用户的数量。
实验
数据集
Tianchi和JD，下图是数据集的划分。
baseline
- S-POP
- BPR-MF
- Item-KNN
- GRU4Rec
- HRNN
评价指标
- Recall@20
- MRR@20
实验结果
item嵌入可视化
从图中我们可以看到w-item2vec的聚类更好，同时，这两种方法在JD数据集上都显示出了显著的效果，一种可能的解释是JD数据集更密集。
推荐性能
新用户的冷启动
分析用户的历史记录长度
