Link prediction of time-evolving network based on node ranking
关键词：动态网络、时变SF网络、节点排序、链路预测、时间序列预测（Dynamic network、Time-evolving SF network、Node ranking、Link prediction、Time series forecasting）
摘要
许多现实世界中的网络都属于那种随时间而演变的网络。因此，预测未来时间的网络中是否会出现这种链接是非常有意义和具有挑战性的。本文首先考虑了时变无标度网络和真实动态网络，然后分别提出了两种链路预测方法。与现有的基于相似性的动态网络链路预测方法不同，许多方法采用了节点对相似性，如common neighbour (CN)、adam - adar (AA)等，我们从一个新的角度来度量节点之间的相似性。随着对节点排序研究的深入，一些基于特征向量的方法，如PageRank (PR)、累积提名(CuN)等，可以迭代计算节点的重要度值，将其视为所有节点的马尔可夫链的平稳分布。因此，从统计的角度来看，一个节点的重要性就像吸引其他节点与之连接的概率，节点对的导数值就像吸引彼此连接的概率。这些基于节点排序的方法在链路预测领域是一种非常新颖的方法，以前很少有研究给予足够的重视。此外，本文还提出了一种自适应时间序列预测方法，利用历史相似度序列自适应地预测各节点对之间的未来相似度。实验结果表明，我们所提出的算法不仅可以预测不断增长的SF网络，而且可以预测现实世界中动态网络的未来链路。
1、介绍
链路预测是链路挖掘的重要研究领域之一，其目的是通过考虑其他链路或节点属性来估计两个节点之间某一链路存在的可能性。链接预测的一些应用涉及发现大型组织中潜在的交互、社交网络中的朋友建议、推断真实世界网络中的隐藏或子图连接。（老话套话）
许多真实世界中的网络是时变的或动态的。近年来，越来越多的文献关注动态网络的链路预测问题。他们可分为基于相似度的方法、基于机器/深度学习的方法等。
许多相似性的动态链接预测算法采取了一些现有的链路预测方法(如CN , AA,结构摄动方法(SPM),随机块模型(座),相似性未来共同的邻居(SFCN),群落相似性特征等等)被用于静态网络。但是，这些方法只考虑了单个快照的本地信息或路径，这对于动态网络是不够的。为了缓解这一问题，我们提出了一系列基于节点排序的算法。结果表明，基于特征向量的节点排序方法，如特征向量中心性(EC)、CuN、PR、LeaderRank (LR)等，可以迭代计算每个节点的重要度，作为马尔可夫链的平稳分布。采用基于节点排序的方法的主要原因如下:首先,从统计的角度来看,一个节点的重要性就像吸引其他节点的概率与它的导数值node-pair的概率就像互相吸引。其次，这些节点排序方法不仅考虑了邻居的数量，而且计算机节点重要性时考虑了邻居的重要性。第三，网络中迭代求解各节点重要性的过程与网络动态演化过程密切相关。
现有文献中预测模型多采用移动平均(MA)、加权移动平均(WMA)、随机游动(RW)、自回归和移动平均(ARMA)。然而，不同动态网络的演化是可变的，即使对于同一网络，已知快照对未来快照的贡献也是不同的。将每个快照的权重设置为固定值或基于经验是不合理的。ARMA可以通过自回归计算每个快照的权重，但它需要太多的时间来优化。因此，我们提出了一种自适应加权移动(AWM)模型来预测待估计快照的节点对相似度。对于不同的动态网络，可以通过最小二乘(LS)、ridge、lasso等回归方法自适应地学习已知快照的权值。
此外，很少有研究者关注基于规模不断增大的进化网络的链路预测。但是进化网络通常可以用来描述现实网络的进化过程。如Internet、WWW、代谢网络等都符合SF进化机制[37]。如果能够提前对进化网络进行链路预测，就可以对其进化过程进行人工干预，这对于预防疾病、谣言的传播，实现医学干预具有重要意义。
综上所述，本文的贡献如下：
- (1)对于节点和边的大小不断增大的时变网络，完全有理由采用一种基于节点排序的链路预测算法，这是以往研究人员很少关注的。
- (2)提出了一种基于节点排序的动态网络相似度度量方法。
- (3)提出了一种自适应预测各节点对得分的预测模型AWM。
本文组织如下:第2节列出了一些相关工作。第三节是关于预审的。第4节讨论了提出的基于节点排序的时变网络链路预测(NRTE)。第5节主要讨论基于节点排序的动态网络链路预测(NRDy)。第6节着重于实验。第7节是我们算法的结论。
2、相关工作
近年来，许多研究将时间信息集成到网络嵌入中，使其能够捕获网络的动态演化[16,18,17,19]。参考[16]使用了triad(即三个节点的一组)来模拟网络结构的动态变化。参考:[17]采用深度自动编码器作为其核心，并利用深度学习的最新进展来生成高度非线性的嵌入。[18]学习了网络的时间过渡使用一个由密集和周期性层组成的深层架构。Ref.[19]的主要思想是充分利用Graph Convolution Network (GCN)来学习隐藏状态和单元状态下的网络结构，通过LSTM (Long Short Term Memory Network, LSTM)模型来学习网络的时间特征[38,39]。但这类方法通常将整个图作为输入，需要将整个图输入到内存中，因此在大规模网络中效率很低。此外，这种深度学习方法需要更多的训练样本来学习更好的模型，而且只是一个一个地预测未来快照的新链接，这将导致预测误差的逐步积累。
基于相似性的动态链路预测方法是一种常用的、典型的预测方法。节点对之间的相似性是度量已有链路的基础。在Ref.[5]中，提出了一种时间感知方法来预测一些给定节点周围的新链路或重复链路，而不是预测整个网络周围的链路。它声称，围绕一些重要节点的网络增长也很重要。通过考虑前一次交互的时间、节点间交互的次数和参与交互的节点的数量来预测循环的链接。参考文献[6]利用拓扑度量提供的相似度评分对非连通节点对建立时间序列，该拓扑度量通常用于预测静态网络中的链接，然后使用预测模型预测节点之间未来的相似度评分。除了相似性时间序列外，Ref.[7]定义了混合时间序列，它同时使用给定时间段内的相似性和连通性信息。此外，采用ARMA方法作为预测模型。Wang等人认为，每个节点吸引链接的能力不仅取决于其结构的重要性，还取决于其当前的受欢迎程度。基于这个假设，他们提出了一种基于SPM的方法，并将节点流行度考虑到[8]。Xu等人提出了一个动态网络的状态空间模型，将静态网络的SBM扩展到动态设置[9]。参考文献[10]提出了一种名为DYLINK2VEC的学习方法来获取节点对实例的特征表示，然后使用一种名为AdaBoost的监督学习技术来预测给定动态网络中未来时刻的链路状态。参考文献[11]提出了一种基于时间相似性度量和连续动作集学习自动机的链接预测方法。它利用了不同的相似度指标和不同的时间周期。尚等人研究了使用一对节点之间的链接来预测它们的共同邻居，并分析了静态网络、演化网络以及相应的随机网络中权值与结构之间的关系。
基于相似的方法往往利用了网络拓扑的共同特征，因此具有较好的泛化性。此外，它们总是简单和低时间消耗。因此，本工作旨在提出一系列基于相似性的方法来实现时变网络链路预测。
3、准备
在本节中，给出了与我们所建议的工程有关的符号和方法。
3.1 问题定义
3.2 基线方法如何？
关于SF进化网络，目前国内外尚未引起足够的重视。因此我们采用一些典型的基于相似度的链路预测方法作为基线，每个节点的吸引力是其与其他节点的相似性的总和。
对于动态网络，现有的许多方法[6-8]的基本思想是利用拓扑度量提供的相似度评分来构建网络中每个非连接节点对的时间序列，然后使用预测模型来预测该序列的未来值，这些值将是预测链接的节点对的最终得分。更具体地说，动态网络首先是按时间划分为快照的，得到随时间变化的快照后，可以采取如下步骤:
- (i)选择一个相似性度量(如CN, AA，…);
- (ii)对每一对节点，将选定的度量标准应用于已知的快照，生成一个时间序列;
- (iii)选择一种预测模型(如MA，…)然后将所选模型应用于序列中，进行超前预测。
在预测得分后，可以使用无监督或监督的方法来预测新的链接。
3.3 相似性指标
（1）CN ：共同邻居的数量
（2）AA ：该相似度评分同时考虑了共同邻居和共同邻居的邻居。当两个节点有更多的共同节点，而共同节点有更少的邻居时，未来两个节点可能会相互连接。
（3）JA ：同时考虑两个节点的共同邻居数和总邻居数
（4）PA ：两个给定节点拥有的邻居越多，它们彼此连接的可能性就越大
（5）Katz ：这个指数是基于所有路径的集合，直接对路径集合求和，并根据长度指数衰减，给较短的路径更多的权值
（6）RWR、（7）HD、（8）SPM、（9）SFCN
3.4 预测模型
预测模型用于预测未来时间序列的行为。采用基线法选取了几种简单的预测模型。
令Zt (t = 1,2，…与T, T)是一个时间序列观察，Zt 就是时间 t 的预测。
(i) MA : 该方法对一个序列进行预测，取其最近观测值的平均值。t时刻的移动平均预测可定义为:
(ii) RW:以时间序列的最后一次观测值作为预测值。可以看作是一个p = 1的MA模型。该方法的预测定义为:
3.5 节点排序方法
(i) EC:为了获得这样一种直觉:如果一个节点由许多声望节点连接，那么这个节点就是声望节点。EC以迭代形式提出，其解收敛如下:
(ii) CuN: CuN是基于个人越集中，被提名次数越多这一初步假设的方案。在数学上，CuN方案可以用以下映射表示:
(iii) PR:在信息网络分析中，最著名的排序算法是PR，它已经成功地应用于web搜索问题。对于一个网页网络，更具体地说，一个网页的PR等级分数迭代地由它的传入邻居的分数决定:
(iv) LR:为了对用户进行排序，[33]引入了一个地面节点，该节点通过双向链路与每个用户连接。网络因此变得强连接，由N + 1个节点组成。第n步中节点vi的排名得分如下:
4. 时变的SF网络链路预测
许多现实网络都是SF网络。SF网络的演化可以用来模拟许多现实网络的演化。因此，在本节中我们提出了一种时变SF网络的串联链路预测算法。在实际应用中，这些算法可以推广到具有SF特性的现实网络中，实现对现实网络的链路预测和干预。
4.1 SF快照
简单地说，SF快照是通过使用优先机制[37]添加新节点和新链接生成的。换句话说，新节点有m条新链路，其连接到系统中节点vi的概率为
。这里ki表示节点vi的度数。
本文假设时间进化的SF网络在每一个时间步长中在其与已有节点之间增加一个新节点和多条边。因此，根据SF网络的进化机制，我们可以得到一系列SF网络进化过程的快照。流程图如图1所示，其中每个网络在进化过程中都可以视为一个SF快照。
4.2 SF快照的时间序列
4.3 预测新连接
对于快照At+1，如前所述，它将添加一个新节点，并在这个新节点与At中现有节点之间添加m个新链接。问题是将选择哪些节点连接到新节点?
定义了一种新的节点吸引力符号，用来度量现有节点对新节点的吸引力程度。时变SF网络的吸引力定义为:
图2给出了基于节点吸引力的时变SF网络链路预测的一个示例。每个节点旁边的“0.5”等值就是节点吸引力。从图2可以看出，每个时间步增加一个新节点和两个新链接，新节点更容易被吸引度较高的节点所吸引。算法1总结了时变SF网络链路预测的细节如下:
5 动态网络链接预测
动态网络通常由一系列带有时间戳的边组成。这种时间网络有时被称为图流。序列中的每个图流描述了某一时刻的网络结构。现有的许多动态链路预测算法都采用了基于节点相似性的方法(如CN、AA等)，这些方法用于静态网络链路预测[6,7]。但是，这些基于节点相似性的方法只考虑了单个快照的局部信息或路径，对于动态网络链路预测是不够的。针对这一问题，我们提出了一系列基于节点排序的算法。结果表明，基于特征向量的节点排序方法如EC、CuN、PR、LR等可以迭代计算节点的重要度值，这些节点的重要度值可视为马尔可夫链对所有节点的平稳分布。而这些节点排序方法在计算每个节点的重要性时，不仅考虑了邻居的数量，还考虑了邻居的重要性。因此，从统计的角度来看，节点的重要性可以看作吸引其他节点与之连接的概率，节点对的导数值可以看作相互吸引的概率。求解各节点重要性的迭代过程类似于动态网络的进化过程。
5.1 动态网络快照
例如下图中：一个动态网络示例的快照。点盒中快照的并集可以作为训练网络。最后一个快照可以作为将要估计其链接的测试网络
5.2 基于吸引力的节点排名
与时变的SF网络不同，我们根据节点排序为每个节点对(vi, vj)定义新的相似度，如下:
6.3.2 动态网络预测模型的讨论
虽然有些动态网络是随着时间逐渐进化的，但在某些情况下，待估计的网络结构与已知的快照有很大的不同。也就是说，过去的系列将对未来系列的预测做出不同的贡献。因此，动态链路预测的研究需要一种自适应的预测模型。基于深度学习的预测模型如LSTM[39]、神经网络自回归(NNETAR)[56]等可用于时间序列的自适应预测。其中，NNETAR模型是一种全连接神经网络，LSTM是一种递归神经网络。它们可能在某些方面是有效的，但有较高的计算成本和更多的超参数的选择。因此，本文提出了一种新的时间序列预测模型AWM:
