https://blog.csdn.net/qq_20195745/article/details/82453589
贝叶斯神经网络简介
对于一个神经网络来说，最为核心的是如何根据训练集的数据，得到各层的模型参数，使得Loss最小，因其强大的非线性拟合能力而在各个领域有着重要应用。而其问题是在数据量较少的情况下存在严重的过拟合现象，对于获得数据代价昂贵的一些课题比如车辆控制等领域，应用存在局限性。
贝叶斯神经网络的优点是可以根据较少的数据得到较为solid的模型，而且得到的是各层参数的分布（一般假设各层参数 服从高斯分布，根据训练集数据计算得出 的均值和方差），从而得到 , 可以有效的解决过拟合的问题，不仅可以对结果进行预测，还可以对结果的误差进行有效预测。的核心思想是
我们先来直观的看一下，贝叶斯神经网络的作用和效果，如下图所示，红色的点为训练集的数据，然后针对每一个x，对f(x)采样1000个点，之所以输出多个y值是为了体现出模型对于y的方差的预测能力。
贝叶斯公式与KL散度
我们从最基本的贝叶斯公式出发，来理解一下贝叶斯神经网络的迭代过程：
贝叶斯公式：
其中，(X,Y)为训练集的数据，由于训练集是给定的所以 为常数，即我们的目标 ，为W的先验概率，为在给定参数W和X的情况下，网络输出Y的概率。
由于 的概率分布复杂，难以求得均值方差等，因此贝叶斯神经网络通过建立一个 函数来逼近 函数，利用一个较为简单的分布，如高斯分布等（参数为, ），来逼近 ，参数 , 即为神经网络需要更新调整的参数，这是整个算法的核心思想。
那么如何判断 函数逼近 函数的效果呢？判断依据一般选取为两种分布的KL散度，KL散度又称为两种分布的相对熵，在一定程度上，熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量，用来度量使用基于 的编码来编码来自 的样本平均所需的额外的位元数。 典型情况下，P表示数据的真实分布，Q表示数据的模型分布，即P的近似分布。 其数学定义如下。
进一步分析，我们得到：
这里面比较重要的一点是KL散度是 关于 的期望，这一点很特殊，是一个函数，我们对这个函数进行优化使得KL散度最小，这样的对于函数的操作称之为“变分”，本文主要基于变分贝叶斯推理的方法来进行贝叶斯神经网路的实现。
贝叶斯神经网络的核心思想
对于普通的神经网络来讲，需要设计好损失函数，通过SDG、Adam等优化器进行优化求得最优参数，使得Loss最小，而对于贝叶斯神经网络，需要最小化的便是KL散度，我们需要将KL散度拆分成方便计算求解的项。
其中 是常数，稍作整理可得：
由此，我们就得到了需要 minimize的目标函数：
至此，我们还是最后一个环节，也就是 ，这三项的具体计算方法， 这一项很好计算 是先验概率，一般我们指定为均值为0方差为的高斯分布即可；在上文中提到, 因此对 累加求和取平均值即可求出； 的计算十分关键，这一项是表示在给定参数和自变量的情况下，输出 为数据集中所对应的的概率，采用如下公式来计算： , 其中 为Y 的先验参数（的先验方差一般与的先验方差相同）。
核心代码
class VariationalDense:
def __init__(self, n_in, n_out):
self.W_mu = tf.Variable(tf.truncated_normal([n_in, n_out], stddev=stddev_var))
self.W_logsigma = tf.Variable(tf.truncated_normal([n_in, n_out], mean = 0., stddev=stddev_var))
self.b_mu = tf.Variable(tf.zeros([n_out]))
self.b_logsigma = tf.Variable(tf.zeros([n_out]))
self.epsilon_w = self.get_random([n_in,n_out],mu=0., std_dev=epsilon_prior)
self.epsilon_b = self.get_random([n_out], mu=0., std_dev =epsilon_prior)
self.W = self.W_mu + tf.multiply(tf.log(1. + tf.exp(self.W_logsigma)), self.epsilon_w)
self.b = self.b_mu + tf.multiply(tf.log(1. + tf.exp(self.b_logsigma)), self.epsilon_b)
def __call__(self, x, activation=tf.identity):
output = activation(tf.matmul(x,self.W) + self.b)
output = tf.squeeze(output)
return output
def log_gaussian(self, x, mu, sigma):
return -0.5*tf.log(2*np.pi)-tf.log(sigma)-(x-mu)**2/(2*sigma**2)
def get_random(self, shape, mu, std_dev):
return tf.random_normal(shape, mean=mu, stddev=std_dev)
def regularization(self):
sample_log_pw, sample_log_qw= 0. , 0.
sample_log_pw += tf.reduce_sum(self.log_gaussian(self.W, 0., sigma_prior))
sample_log_pw += tf.reduce_sum(self.log_gaussian(self.b, 0., sigma_prior))
sample_log_qw += tf.reduce_sum(self.log_gaussian(self.W, self.W_mu, tf.log(1. + tf.exp(self.W_logsigma))))
sample_log_qw += tf.reduce_sum(self.log_gaussian(self.b, self.b_mu, tf.log(1. + tf.exp(self.b_logsigma))))
regulizer = tf.reduce_sum((sample_log_qw-sample_log_pw))
return regulizer
# Create the Model
n_sample = 20
X = np.random.normal(size=(n_sample,1))
y = np.random.normal(np.cos(5.*X) / (np.abs(X) + 1.), 0.1).ravel()
X_pred = np.atleast_2d(np.linspace(-3.,3.,num=100)).T
feature_size = X.shape[1]
n_hidden = 100
# Place holder of Network inputs and outputs
model_x = tf.placeholder(tf.float32, shape=[None, feature_size])
model_y = tf.placeholder(tf.float32, shape=[None])
#Define neural network
net_Layer_input = VariationalDense(feature_size, n_hidden)
net_Layer_hidden = VariationalDense(n_hidden, n_hidden)
net_Layer_output = VariationalDense(n_hidden, 1)
Input_Layer_output = net_Layer_input(model_x, tf.nn.relu)
Hidden_Layer_output = net_Layer_hidden(Input_Layer_output, tf.nn.relu)
net_pred = net_Layer_output(Hidden_Layer_output)
# Define ELBO
sample_log_Likelihood = tf.reduce_sum(net_Layer_output.log_gaussian(model_y, net_pred, sigma_prior))
regularization_term = net_Layer_input.regularization() + net_Layer_hidden.regularization() + net_Layer_output.regularization()
elbo = -sample_log_Likelihood + regularization_term / n_hidden
train_step = tf.train.AdamOptimizer(lr).minimize(elbo)
# Mean Square Error (Network Performance)
model_mse = tf.reduce_sum(tf.square(model_y - net_pred))/n_sample
实验结果分析
我们依次取10个数据点、50个数据点、100个数据点，可以看到训练集大小的不同，对于整体拟合效果的影响结果如下：
10个数据点
50个数据点
100个数据点
下面我们来可视化的看一下贝叶斯神经网络随着迭代次数的增加，拟合效果的变化，分别取eposide=2500,3000,3500,4000，观察训练效果的变化：
2500次
3000次
3500次
4000次