一、高斯(分布)过程(随机过程)是什么？
| 一维高斯分布 | 多维高斯分布 | 无限维高斯分布 |
| 高斯网络 | 高斯过程 |
简单的说，就是一系列关于连续域（时间或空间）的随机变量的联合，而且针对每一个时间或是空间点上的随机变量都是服从高斯分布的。
举个例子：倘若你人生的每一个时刻看做一个随机变量，且都是满足高斯分布，那么你的人生就可以看做一个高斯过程，既有很多确定的东西，确定的是mean和kernel，如你的人生中你起点决定的你人生的大致范围，又有极大地不确定性，本质还是随机变量的整体，就像你可以凭借自身的努力改变很多东西，这就是属于你的高斯过程。
二、高斯过程有什么用？--->高斯过程回归
简单的说，由于它性质完美，计算简单，形式漂亮，所以可以被广泛应用在各种统计建模中，包括一些非线性的预测推断问题
1、weight-space角度
先来回顾贝叶斯线性回归(Bayesian Linear Regression)，分为两部分（1）Inference（2）预测
如果线性回归问题本身不是线性的，就要进行非线性转换，
2、weighted-space角度 ---> function-space 角度
3、function-space角度
三、高斯过程回归怎么用？
因为高斯分布在自然界无比常见，所以把原来的n个y看成服从高斯分布，来了一个新的Xn+1，这n+1个y还是服从一个联合正态分布的。
已知n个点的(xa,ya)，想知道在任意一个新的点xb,对应的yb是怎么样的。可以用来进行贝叶斯优化。
其中,xa和xb,yb为观察到的值,ya为需要预测的值
要点：
1.简单来说，高斯过程可以看成是一个函数，函数的输入是x，函数的输出是高斯分布的均值和方差。
2.y的相关性取决于x，然后由x到y用高斯核函数表示其相关性
3.Y之间的分布用协方差矩阵表示
4、有噪声时把噪声加到对角线上
四、核函数如何选取？
对于上面的协方差矩阵K，其中k(x,y)表示核函数，那么这个核函数如选取？
1、高斯核函数
RBF（高斯核函数，也叫做径向基函数）
2、Matern核
参考文献：
【1】浅析高斯过程回归（Gaussian process regression）附代码
【2】高斯过程回归GPR
【3】浅谈高斯过程回归