退火
退火是一种金属的热处理工艺，将金属加热到一定的温度，保持足够时间，然后以适宜速度缓慢冷却。
退火可以改善材料性能，提升金属品质。
模拟退火算法
根据梯度下降算法考虑，梯度下降算法会使得我们的代价函数的值只会往梯度下降的方向走，比如左图（a），当它走到第一个凹坑里的时候它就在也出不来了。而不会到达全局的最小值，会陷入局部最小值出不来。
模拟退火算法，也叫随机网络算法，如右图（b）。它和梯度下降法的能力就不一样，它具有“爬坡”或“跳跃”的能力，它会在局部最小值里面跳出来，使损失函数的值不断下降，最终达到全局最小值。
那么这是为什么呢？
模拟退火算法会根据接受概率来判断要怎么走。假设前一状态为x(n)，系统受到一定的扰动，状态变为x(n+1)，相应地，系统能量由E(n)变为E(n+1)。定义系统由x(n)变为x(n+1)的接受概率为p：
意思就是，当损失函数从能量高的地方走向能量低的地方时，其概率为1，表示以一定转移。当损失函数从能量低的地方走向能量高的地方时，比如从局部最小值跳出来，那么就就有一定概率来判断它是否跳出，这个概率就是一个能量和温度（T）之间关系的算式。
当T越大，接收概率P就越大，小球跳跃的能力就越高，就更容易跳出这个局部最小值。
当T越小，接收概率P就越小，小球跳跃的能力就越低，就不容易跳出这个局部最小值。
E（n+1）- E（n）越大，接收概率P就越小。
E（n+1）- E（n）越小，接收概率P就越大。
所以，在一开始，温度的初始值T要选得足够高，使得所有可能的状态转移都能被接受。然后温度逐渐下降。
退火速率
指数下降方式：T(n) = λT(0) n=1,2…，λ是一个小于1的正数，可以取0.8-0.99之间。
其他下降方式：
模拟退火算法过程
1.初始化。随机选择一定的值作为变量的数值x(0)，并设置初始温度T(0)，终止温度T final 和温度的下降公式。
2.以一定的规则（沿着梯度下降的方向走一段距离，或者在x点附近随机取一个点）在当前状态x(n)附近产生新的状态x(n+1)。如果能量减小则改变状态，如果能量变大则以一定的概率判断是否要改变状态。
3.在一定的温度T下迭代一定的次数，或者判断代价函数是否趋于稳定。然后终止内循环(内循环中T不变，让状态自由改变)。
4.调整T，判断T是否是小于等于T final 。没有小于等于T final 的话，则跳转到第二步继续执行。如果小于等于T final 的话，则终止算法。
随机神经网络（玻尔兹曼机BM）
玻尔兹曼机分为两种：（a）自联想型BM网络，（b）异联想型BM网络
一共分为两层，分为可见节点和隐节点。首先看（a）自联想型BM网络，它的可见节点既是输入节点又是输出节点。当我们输入测试数据时，从可见节点输入，也从可见节点输出结果。再看（b）异联想型BM网络，它的可见节点既是输入节点又是输出节点。当我们输入测试数据时，从一部分可见节点输入，从另一部分可见节点输出结果。
玻尔兹曼机的训练
正向学习阶段：
➢ 自联想型BM网络：向网络输入信号，钳制输入输出节点，让隐节点自由活动
➢ 异联想型BM网络：向网络输入信号，钳制输入输出节点，让隐节点自由活动
反向学习阶段：
➢ 自联想型BM网络：向网络输入信号，让输入输出节点和隐节点都自由活动
➢ 异联想型BM网络：向网络输入信号，钳制输入节点，让输出节点和隐节点自由活动
Boltzmann Machine
