ARIMA模型（完整的Word文件可以去我的博客里面下载）
ARIMA模型（英语：AutoregressiveIntegratedMovingAverage model），差分整合移动平均自回归模型，又称整合移动平均自回归模型（移动也可称作滑动），时间序列预测分析方法之一。ARIMA（p，d，q）中，AR是"自回归"，p为自回归项数；MA为"滑动平均"，q为滑动平均项数，d为使之成为平稳序列所做的差分次数（阶数）。
ARIMA（p，d，q）模型是ARMA（p，q）模型的扩展。ARIMA（p，d，q）模型可以表示为：
其中L是滞后算子（Lag operator），
1. 平稳性：
平稳性就是要求经由样本时间序列所得到的拟合曲线，在未来的一段时间内仍能顺着现有状态“惯性”地延续下去；
平稳性要求序列的均值和方差不发生明显变化；
方差越大，数据波动越大，方差计算公式如下式所示：
方差等于1，那么标准差也就是1，表示概率函数在对称轴左右偏差1的位置导数为0，即为拐点。期望为0，表示概率函数以y轴为对称轴。
平稳性分为严平稳和弱平稳
严平稳：严平稳表示的分布不随时间的改变而改变，如：白噪声（正态），无论怎么取，都是期望为0，方差为1；
弱平稳：期望与相关系数（依赖性）不变，未来某时刻的t值Xt就要依赖于它的过去信息，所以需要依赖性；
2. 差分法：时间序列在t与t-1时刻的差值
3. 自回归模型（AR）
描述当前值与历史值之间的关系，用变量自身的历史时间数据对自身进行预测
自回归模型必须满足平稳性的要求
p阶自回归过程的公式定义：
是当前值， 是常数项，P是阶数（需要我们自己指定）， 是自相关系数， 是误差
4. 移动平均模型（MA）
移动平均模型关注的是自回归模型中误差项的累加
q阶自回归过程的公式定义：
移动平均法能有效消除预测中的随机波动
5. 自回归移动平均模型（ARMA）
自回归与移动平均结合，公式定义如下，由下述公式我们可以得到，当拿到ARMA模型时，我们仅需要指定三个参数（p,d,q），d是阶数，d=1即为一阶差分，d=2为二阶差分，以此类推。
6. 差分自回归移动平均模型
ARIMA (p, d, q)模型全称为差分自回归移动平均模型（Autoregressive Integrated Moving Average Model，简记ARIMA）。
AR是自回归，p为自回归项；MA为移动平均，q为移动平均项数，d为时间序列成为平稳时所做的差分次数。
原理：将非平稳时间序列转换为平稳时间序列。然后将因变量仅对它滞后值（阶数）以及随机误差项的现值和滞后值进行回归所建立的模型。
6.1 自相关函数ACF(autocorrelation function)
相关性：有序的随机变量序列与其自身相比较，自相关函数反映了自身数据在同一序列在不同时序之间的相关性。
公式：
6.2 偏自相关函数(PACF)(partial autocorrelation function)
对于一个平稳AR(p)模型，求出滞后k自相关系数p(k)时实际上得到的并不是x(t)与x(t-k)之间单纯的相关关系：
x(t)同时还会受到中间k-1个随机变量x(t-1)、x(t-2)、......、x(t-k+1)的影响，而这k-1个随机变量又都和x(t-k)具有相关关系，所以自相关系数p(k)里实际掺杂了其他变量对x(t)与x(t-k)的影响；
ACF还包含了其他变量的影响，而偏自相关系数PACF是严格这两个变量之间的相关性；
6.3 ARIMA建模流程
将序列平稳（差分法确定d）
p和q阶数确定：ACF与PACF
ARIMA（p,d,q）
6.4 模型参数选择
模型选择AIC与BIC：选择更简单的模型
AIC：赤池信息准则（Akaike Information Criterion，AIC）
BIC：贝叶斯信息准则（Bayesian Information Criterion，BIC）
k为模型参数个数，n为样本数量，L为似然函数
6.5 模型残差检验
ARIMA模型的残差是否是平均值为0且方差为常熟的正态分布
QQ图：线性即正态分布
粒子群优化算法（PSO）
1、概念
粒子群优化算法是一种进化计算技术，源于对鸟群捕食行为研究。
基本思想：通过群体中个体之间的协作和信息共享来寻找最优解。
优势：简单、容易实现并且没有许多的参数调节。
广泛应用于函数优化、神经网络训练、模糊系统控制。
2、算法
2.1问题抽象
鸟被抽象为没有质量和体积的微粒(点)，并延伸到N维空间，粒子i在N维空间的位置表示为矢量Xi＝(x1，x2，…，xN)，飞行速度表示为矢量Vi＝(v1，v2，…，vN)。每个粒子都有一个由目标函数决定的适应值(fitness value)，并且知道自己到目前为止发现的最好位置(pbest)和现在的位置Xi。这个可以看作是粒子自己的飞行经验。除此之外，每个粒子还知道到目前为止整个群体中所有粒子发现的最好位置(gbest)(gbest是pbest中的最好值)，这个可以看作是粒子同伴的经验。粒子就是通过自己的经验和同伴中最好的经验来决定下一步的运动。
2.2更新规则
PSO初始化为一群随机粒子(随机解)。然后通过迭代找到最优解。在每一次的迭代中，粒子通过跟踪两个“极值”(pbest，gbest)来更新自己。在找到这两个最优值后，粒子通过下面的公式来更新自己的速度和位置。
2.3标准PSO算法流程
标准PSO算法的流程：
1）初始化一群微粒(群体规模为N)，包括随机位置和速度；
2）评价每个微粒的适应度；
3）对每个微粒，将其适应值与其经过的最好位置pbest作比较，如果较好，则将其作为当前的最好位置pbest；
4）对每个微粒，将其适应值与其经过的最好位置gbest作比较，如果较好，则将其作为当前的最好位置gbest；
5）根据公式(2)、(3)调整微粒速度和位置；
6）未达到结束条件则转第2）步。
迭代终止条件根据具体问题一般选为最大迭代次数Gk或(和)微粒群迄今为止搜索到的最优位置满足预定最小适应阈值。
当C1＝0时，则粒子没有了认知能力，变为只有社会的模型(social-only)：
被称为全局PSO算法。粒子有扩展搜索空间的能力，具有较快的收敛速度，但由于缺少局部搜索，对于复杂问题比标准PSO 更易陷入局部最优。
当C2＝0时，则粒子之间没有社会信息，模型变为只有认知(cognition-only)模型：
被称为局部PSO算法。由于个体之间没有信息的交流，整个群体相当于多个粒子进行盲目的随机搜索，收敛速度慢，因而得到最优解的可能性小。
2.3参数分析
参数：群体规模N，惯性因子 ，学习因子c1和c2，最大速度Vmax，最大迭代次数Gk。
群体规模N：一般取20～40，对较难或特定类别的问题可以取到100～200。
最大速度Vmax：决定当前位置与最好位置之间的区域的分辨率(或精度)。如果太快，则粒子有可能越过极小点；如果太慢，则粒子不能在局部极小点之外进行足够的探索，会陷入到局部极值区域内。这种限制可以达到防止计算溢出、决定问题空间搜索的粒度的目的。
权重因子：包括惯性因子和学习因子c1和c2。使粒子保持着运动惯性，使其具有扩展搜索空间的趋势，有能力探索新的区域。c1和c2代表将每个粒子推向pbest和gbest位置的统计加速项的权值。较低的值允许粒子在被拉回之前可以在目标区域外徘徊，较高的值导致粒子突然地冲向或越过目标区域。
参数设置：
1) 如果令c1＝c2＝0，粒子将一直以当前速度的飞行，直到边界。很难找到最优解。
2) 如果 ＝0，则速度只取决于当前位置和历史最好位置，速度本身没有记忆性。假设一个粒子处在全局最好位置，它将保持静止，其他粒子则飞向它的最好位置和全局最好位置的加权中心。粒子将收缩到当前全局最好位置。在加上第一部分后，粒子有扩展搜索空间的趋势，这也使得的作用表现为针对不同的搜索问题，调整算法的全局和局部搜索能力的平衡。较大时，具有较强的全局搜索能力；较小时，具有较强的局部搜索能力。
3) 通常设c1＝c2＝2。Suganthan的实验表明：c1和c2为常数时可以得到较好的解，但不一定必须等于2。Clerc引入收敛因子(constriction factor) K来保证收敛性。
通常取 为4.1,则K＝0.729.实验表明，与使用惯性权重的PSO算法相比，使用收敛因子的PSO有更快的收敛速度。其实只要恰当的选取和c1、c2，两种算法是一样的。因此使用收敛因子的PSO可以看作使用惯性权重PSO的特例。
恰当的选取算法的参数值可以改善算法的性能。
遗传算法（GA）
遗传算法便基于达尔文的进化论，模拟了自然选择，物竞天择、适者生存，通过N代的遗传、变异、交叉、复制，进化出问题的最优解。
遗传算法（Genetic Algorithm）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。遗传算法是从代表问题可能潜在的解集的一个种群（population）开始的，而一个种群则由经过基因（gene）编码的一定数目的个体(individual)组成。每个个体实际上是染色体(chromosome)带有特征的实体。染色体作为遗传物质的主要载体，即多个基因的集合，其内部表现（即基因型）是某种基因组合，它决定了个体的形状的外部表现。因此，在一开始需要实现从表现型到基因型的映射即编码工作。由于仿照基因编码的工作很复杂，我们往往进行简化，如二进制编码，初代种群产生之后，按照适者生存和优胜劣汰的原理，逐代（generation）演化产生出越来越好的近似解，在每一代，根据问题域中个体的适应度（fitness）大小选择（selection）个体，并借助于自然遗传学的遗传算子（genetic operators）进行组合交叉（crossover）和变异（mutation），产生出代表新的解集的种群。这个过程将导致种群像自然进化一样的后生代种群比前代更加适应于环境，末代种群中的最优个体经过解码（decoding），可以作为问题近似最优解。
主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。
对于一个求函数最大值的优化问题（求函数最小值也类同），一般可以描述为下列数学规划模型：
式中 为决策变量， 为目标函数式， 、 为约束条件，U是基本空间，R是U的子集。满足约束条件的解 称为可行解，集合R表示所有满足约束条件的解所组成的集合，称为可行解集合。
基本运算过程如下：
a)初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P(0)。
b)个体评价：计算群体P(t)中各个个体的适应度。
c)选择运算：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。
d)交叉运算：将交叉算子作用于群体。遗传算法中起核心作用的就是交叉算子。
e)变异运算：将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值作变动。群体P(t)经过选择、交叉、变异运算之后得到下一代群体P(t+1)。
f)终止条件判断：若t=T,则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。
概念1：基因和染色体
在遗传算法中，我们首先需要将要解决的问题映射成一个数学问题，也就是所谓的“数学建模”，那么这个问题的一个可行解即被称为一条“染色体”。一个可行解一般由多个元素构成，那么这每一个元素就被称为染色体上的一个“基因”。
比如说，对于如下函数而言，[1,2,3]、[1,3,2]、[3,2,1]均是这个函数的可行解（代进去成立即为可行解），那么这些可行解在遗传算法中均被称为染色体。
3x+4y+5z<100
这些可行解一共有三个元素构成，那么在遗传算法中，每个元素就被称为组成染色体的一个基因。
概念2：适应度函数
遗传算法在运行的过程中会进行N次迭代，每次迭代都会生成若干条染色体。适应度函数会给本次迭代中生成的所有染色体打个分，来评判这些染色体的适应度，然后将适应度较低的染色体淘汰掉，只保留适应度较高的染色体，从而经过若干次迭代后染色体的质量将越来越优良。
概念3：交叉
遗传算法每一次迭代都会生成N条染色体，在遗传算法中，这每一次迭代就被称为一次“进化”。每次进化新生成的染色体通过“交叉”而来，你可以把它理解为交配。
交叉的过程需要从上一代的染色体中寻找两条染色体，一条是爸爸，一条是妈妈。然后将这两条染色体的某一个位置切断，并拼接在一起，从而生成一条新的染色体。这条新染色体上即包含了一定数量的爸爸的基因，也包含了一定数量的妈妈的基因。
一般通过轮盘赌算法从上一代染色体中选出爸爸和妈妈的基因。在每完成一次进化后，都要计算每一条染色体的适应度，然后采用如下公式计算每一条染色体的适应度概率。那么在进行交叉过程时，就需要根据这个概率来选择父母染色体。适应度比较大的染色体被选中的概率就越高。这也就是为什么遗传算法能保留优良基因的原因。
染色体i被选择的概率 = 染色体i的适应度 / 所有染色体的适应度之和
概念4：变异
交叉能保证每次进化留下优良的基因，但它仅仅是对原有的结果集进行选择，基因还是那么几个，只不过交换了他们的组合顺序。这只能保证经过N次进化后，计算结果更接近于局部最优解，而永远没办法达到全局最优解，为了解决这一个问题，我们需要引入变异。
当我们通过交叉生成了一条新的染色体后，需要在新染色体上随机选择若干个基因，然后随机修改基因的值，从而给现有的染色体引入了新的基因，突破了当前搜索的限制，更有利于算法寻找到全局最优解。
概念5：复制
每次进化中，为了保留上一代优良的染色体，需要将上一代中适应度最高的几条染色体直接原封不动地复制给下一代。
假设每次进化都需生成N条染色体，那么每次进化中，通过交叉方式需要生成N-M条染色体，剩余的M条染色体通过复制上一代适应度最高的M条染色体而来。
遗传算法的流程
在算法初始阶段，它会随机生成一组可行解，就是第一代染色体。
然后采用适应度函数分别计算每一条染色体的适应程度，并根据适应程度计算每一条染色体在下一次进化中被选中的概率。
上面都是准备过程，下面正式进入“进化”过程。
通过“交叉”，生成N-M条染色体；
再对交叉后生成的N-M条染色体进行“变异”操作；
然后使用“复制”的方式生成M条染色体；
到此为止，N条染色体生成完毕！紧接着分别计算N条染色体的适应度和下次被选中的概率。
这就是一次进化的过程，紧接着进行新一轮的进化。
究竟需要进化多少次？
每一次进化都会更优，因此理论上进化的次数越多越好，但在实际应用中往往会在结果精确度和执行效率之间寻找一个平衡点，一般有两种方式。
1. 限定进化次数
在一些实际应用中，可以事先统计出进化的次数。比如，你通过大量实验发现：不管输入的数据如何变化，算法在进化N次之后就能够得到最优解，那么你就可以将进化的次数设成N。
然而，实际情况往往没有那么理想，往往不同的输入会导致得到最优解时的迭代次数相差甚远，这是你可以考虑采用第二种方式。
2. 限定允许范围
如果算法要达到全局最优解可能要经过很多次的进化，这极大影响系统的性能。那么我们就可以在算法的精确度和系统效率之间寻找一个平衡点。我们可以事先设定一个可以接收的结果范围，当算法进行X次进化后，一旦发现了当前的结果已经在误差范围之内了，那么就终止算法。
但这种方式也有个缺点，有些情况下可能稍微进化几次就进入了误差允许范围，但有些情况下需要进化很多次才能进入误差允许范围。这种不确定性导致算法的执行效率不可控。
所以，究竟选择何种方式来控制算法的迭代次数，这需要你根据具体的业务场景合理地选择。
采用遗传算法解决负载均衡调度问题
算法都是用来解决实际问题的，下面我们就用遗传算法来解决一个实际问题——负载均衡调度问题。
假设有N个任务，需要负载均衡器分配给M个服务器节点去处理。每个任务的任务长度、每台服务器节点(下面简称“节点”)的处理速度已知，请给出一种任务分配方式，使得所有任务的总处理时间最短。
数学建模
拿到这个问题后，我们首先需要将这个实际问题映射成遗传算法的数学模型。
任务长度矩阵（简称：任务矩阵）
我们将所有任务的任务长度用矩阵tasks表示，如：
Tasks={2,4,6,8}
那么，tasks[i]中的i表示任务的编号，而tasks[i]表示任务i的任务长度。
节点处理速度矩阵（简称：节点矩阵）
我们将所有服务器节点的处理速度用矩阵nodes表示，如：
Nodes={2,1}
那么，nodes[j]中的j表示节点的编号，而nodes[j]表示节点j的处理速度。
任务处理时间矩阵
当任务矩阵Tasks和节点矩阵Nodes确定下来之后，那么所有任务分配给所有节点的任务处理时间都可以确定了，我们用矩阵timeMatrix表示，它是一个二维数组：
1 2
2 4
3 6
4 8
timeMatrix[i][j]表示将任务i分配给节点j处理所需的时间，它通过如下公式计算：
timeMatrix[i][j] = tasks[i]/nodes[j]
染色体
每次进化都会产生N条染色体，每一条染色体都是当前问题的一个可行解，可行解由多个元素构成，每个元素称为染色体的一个基因。下面我们就用一个染色体矩阵来记录算法每次进化过程中的可行解。
一条染色体的构成如下：
chromosome={1,2,3,4}
一条染色体就是一个一位数组，一位数组的下标表示任务的编号，数组的值表示节点的编号。那么chromosome[i]=j的含义就是：将任务i分配给了节点j。
上面的例子中，任务集合为Tasks={2,4,6,8}，节点集合为Nodes={2,1}，那么染色体chromosome={3,2,1,0}的含义是：
将任务0分配给3号节点
将任务1分配给2号节点
将任务2分配给1号节点
将任务3分配给0号节点
适应度矩阵
在遗传算法中扮演者“上帝”角色的是适应度函数，它会评判每一条染色体的适应度，并保留适应度高的染色体、淘汰适应度差的染色体。那么在算法实现时，我们需要一个适应度矩阵，记录当前N条染色体的适应度，如下所示：
adaptability={0.6, 2, 3.2, 1.8}
adaptability数组的下标表示染色体的编号，而adaptability[i]则表示编号为i的染色体的适应度。
在负载均衡调度这个实例中，我们将N个任务执行总时长作为适应度评判的标准。当所有任务分配完后，如果总时长较长，那么适应度就越差；而总时长越短，则适应度越高。
选择概率矩阵
通过上文可知，每次进化过程中，都需要根据适应度矩阵计算每一条染色体在下一次进化中被选择的概率，这个矩阵如下所示：
selectionProbability={0.1, 0.4, 0.2, 0.3}
矩阵的下标表示染色体的编号，而矩阵中的值表示该染色体对应的选择概率。其计算公式如下：
selectionProbability[i] = adaptability[i] / 适应度之和
遗传算法的例子
例：求下述二元函数的最大值：
(1) 个体编码
遗传算法的运算对象是表示个体的符号串，所以必须把变量 x1, x2 编码为一种符号串。本题中，用无符号二进制整数来表示。
因 x1, x2 为 0 ~ 7之间的整数，所以分别用3位无符号二进制整数来表示，将它们连接在一起所组成的6位无符号二进制数就形成了个体的基因型，表示一个可行解。
例如，基因型 X＝101110 所对应的表现型是：x＝[ 5，6 ]。
个体的表现型x和基因型X之间可通过编码和解码程序相互转换。
(2) 初始群体的产生
遗传算法是对群体进行的进化操作，需要给其准备一些表示起始搜索点的初始群体数据。
本例中，群体规模的大小取为4，即群体由4个个体组成，每个个体可通过随机方法产生。
如：011101，101011，011100，111001
(3) 适应度计算
遗传算法中以个体适应度的大小来评定各个个体的优劣程度，从而决定其遗传机会的大小。
本例中，目标函数总取非负值，并且是以求函数最大值为优化目标，故可直接利用目标函数值作为个体的适应度。
(4) 选择运算
选择运算(或称为复制运算)把当前群体中适应度较高的个体按某种规则或模型遗传到下一代群体中。一般要求适应度较高的个体将有更多的机会遗传到下一代群体中。
本例中，我们采用与适应度成正比的概率来确定各个个体复制到下一代群体中的数量。其具体操作过程是：
• 先计算出群体中所有个体的适应度的总和fi ( i=1.2,…,M );
• 其次计算出每个个体的相对适应度的大小 fi / fi ，它即为每个个体被遗传到下一代群体中的概率，
• 每个概率值组成一个区域，全部概率值之和为1；
• 最后再产生一个0到1之间的随机数，依据该随机数出现在上述哪一个概率区域内来确定各个个体被选中的次数。
(5) 交叉运算
交叉运算是遗传算法中产生新个体的主要操作过程，它以某一概率相互交换某两个个体之间的部分染色体。
本例采用单点交叉的方法，其具体操作过程是：
• 先对群体进行随机配对；
• 其次随机设置交叉点位置；
• 最后再相互交换配对染色体之间的部分基因
(6) 变异运算
变异运算是对个体的某一个或某一些基因座上的基因值按某一较小的概率进行改变，它也是产生新个体的一种操作方法。
本例中，我们采用基本位变异的方法来进行变异运算，其具体操作过程是：
• 首先确定出各个个体的基因变异位置，下表所示为随机产生的变异点位置，其中的数字表示变异点设置在该基因座处；
• 然后依照某一概率将变异点的原有基因值取反。
对群体P(t)进行一轮选择、交叉、变异运算之后可得到新一代的群体p(t+1)。
从上表中可以看出，群体经过一代进化之后，其适应度的最大值、平均值都得到了明显的改进。事实上，这里已经找到了最佳个体“111111”。
适应度函数
进化论中的适应度，是表示某一个体对环境的适应能力，也表示该个体繁殖后代的能力。遗传算法的适应度函数也叫评价函数，是用来判断群体中的个体的优劣程度的指标，它是根据所求问题的目标函数来进行评估的。
遗传算法在搜索进化过程中一般不需要其他外部信息，仅用评估函数来评估个体或解的优劣，并作为以后遗传操作的依据。由于遗传算法中，适应度函数要比较排序并在此基础上计算选择概率，所以适应度函数的值要取正值。将目标函数映射成求最大值形式且函数值非负的适应度函数是必要的。
适应度函数的设计主要满足以下条件：
a）单值、连续、非负、最大化
b) 合理、一致性
c）计算量小
d）通用性强。
在具体应用中，适应度函数的设计要结合求解问题本身的要求而定。适应度函数设计直接影响到遗传算法的性能。
初始群体选取
遗传算法中初始群体中的个体是随机产生的。一般来讲，初始群体的设定可采取如下的策略:
a)根据问题固有知识，设法把握最优解所占空间在整个问题空间中的分布范围，然后，在此分布范围内设定初始群体。
b)先随机生成一定数目的个体，然后从中挑出最好的个体加到初始群体中。这种过程不断迭代，直到初始群体中个体数达到了预先确定的规模。
遗传算法（GA）和粒子群优化算法（PSO）的比较
1)共性：
(1) 都属于仿生算法。
(2) 都属于全局优化方法。
(3) 都属于随机搜索算法。
(4) 都隐含并行性。
(5) 根据个体的适配信息进行搜索，因此不受函数约束条件的限制，如连续性、可导性等。
(6) 对高维复杂问题，往往会遇到早熟收敛和收敛 性能差的缺点，都无法保证收敛到最优点。
2)差异：
(1) PSO有记忆，好的解的知识所有粒子都保 存，而GA（Genetic Algorithm），以前的知识随着种群的改变被改变。
(2) PSO中的粒子仅仅通过当前搜索到最优点进行共享信息，所以很大程度上这是一种单共享项信息机制。而GA中，染色体之间相互共享信息，使得整个种群都向最优区域移动。
(3) GA的编码技术和遗传操作比较简单，而PSO相对于GA，没有交叉和变异操作，粒子只是通过内部速度进行更新，因此原理更简单、参数更少、实现更容易。
(4) 应用于人工神经网络(ANN)
GA可以用来研究NN的三个方面：网络连接权重、网络结构、学习算法。优势在于可处理传统方法不能处理的问题，例如不可导的节点传递函数或没有梯度信息。
GA缺点:在某些问题上性能不是特别好；网络权重的编码和遗传算子的选择有时较麻烦。
已有利用PSO来进行神经网络训练。研究表明PSO是一种很有潜力的神经网络算法。速度较快且有较好的结果。且没有遗传算法碰到的问题。