基于pycaffe的网络训练和结果分析（mnist数据集）

该工作的主要目的是为了练习运用pycaffe来进行神经网络一站式训练，并从多个角度来分析对应的结果。

目标：

1. python的运用训练
2. pycaffe的接口熟悉
3. 卷积网络（CNN）和全连接网络（DNN）的效果差异性
4. 学会从多个角度来分析分类结果
   • 哪些图片被分类错误并进行可视化？
   • 为什么被分错？
   • 每一类是否同等机会被分错？
   • 在迭代过程中，每一类的错误几率如何变化？
   • 是否开始被正确识别后来又被错误识别了？

测试数据集：mnist

代码：https://github.com/TiBAiL/PycaffeTrain-LeNet

环境：Ubuntu 16.04LTS训练，Windows 7+VS2013分析

关于网络架构，在caffe的训练过程中，会涉及到三种不同类型的prototxt文件，分别用于train、test（validation）以及deploy。这三种文件需要保持网络架构上的统一，方可使得程序正常工作。为了达到这一目的，可以通过程序自动生成对应的文件。这三种文件的主要区别在于输入数据层以及loss/accuracy/prob层。

与此同时，针对solver.prototxt文件，我也采用了python程序的方式进行生成。在求解过程中，为了能够统计train loss/test loss以及accuracy信息以及保存任意时刻的model参数，可以采用pycaffe提供的api接口进行处理。

代码如下：

import numpy as np
import caffe
from caffe import layers as L, params as P, proto, to_proto

# file path
root = '/home/your-account/DL-Analysis/'
train_list = root + 'mnist/mnist_train_lmdb'
test_list = root + 'mnist/mnist_test_lmdb'

train_proto = root + 'mnist/LeNet/train.prototxt'
test_proto = root + 'mnist/LeNet/test.prototxt'

deploy_proto = root + 'mnist/LeNet/deploy.prototxt'

solver_proto = root + 'mnist/LeNet/solver.prototxt'

def LeNet(data_list, batch_size, IncludeAccuracy = False, deploy = False):
    """
    LeNet define
    """

    if not(deploy):
        data, label =  L.Data(source = data_list,
                              backend = P.Data.LMDB,
                              batch_size = batch_size,
                              ntop = 2,
                              transform_param = dict(scale = 0.00390625))
    else:
        data = L.Input(input_param = {'shape': {'dim': [64, 1, 28, 28]}})
    
    conv1 = L.Convolution(data,
                          kernel_size = 5,
                          stride = 1,
                          num_output = 20,
                          pad = 0,
                          weight_filler = dict(type = 'xavier'))
    
    pool1 = L.Pooling(conv1,
                      pool = P.Pooling.MAX,
                      kernel_size = 2,
                      stride = 2)
    
    conv2 = L.Convolution(pool1,
                          kernel_size = 5,
                          stride = 1,
                          num_output = 50,
                          pad = 0,
                          weight_filler = dict(type = 'xavier'))
    
    pool2 = L.Pooling(conv2,
                      pool = P.Pooling.MAX,
                      kernel_size = 2,
                      stride = 2)

    ip1 = L.InnerProduct(pool2,
                         num_output = 500,
                         weight_filler = dict(type = 'xavier'))
    
    relu1 = L.ReLU(ip1,
                   in_place = True)
    
    ip2 = L.InnerProduct(relu1,
                         num_output = 10,
                         weight_filler = dict(type = 'xavier'))
    
    #loss = L.SoftmaxWithLoss(ip2, label)

    if ( not(IncludeAccuracy) and not(deploy) ):
        # train net
        loss = L.SoftmaxWithLoss(ip2, label)
        return to_proto(loss)
    
    elif ( IncludeAccuracy and not(deploy) ):
        # test net
        loss = L.SoftmaxWithLoss(ip2, label)
        Accuracy = L.Accuracy(ip2, label)
        return to_proto(loss, Accuracy)
    
    else:
        # deploy net
        prob = L.Softmax(ip2)
        return to_proto(prob)
    
def WriteNet():
    """
    write proto to file
    """
    
    # train net
    with open(train_proto, 'w') as file:
        file.write( str(LeNet(train_list, 64, IncludeAccuracy = False, deploy = False)) )

    # test net
    with open(test_proto, 'w') as file:
        file.write( str(LeNet(test_list, 100, IncludeAccuracy = True, deploy = False)) )

    # deploy net
    with open(deploy_proto, 'w') as file:
        file.write( str(LeNet('not need', 64, IncludeAccuracy = False, deploy = True)) )

def GenerateSolver(solver_file, train_net, test_net):
    """
    generate the solver file
    """
    
    s = proto.caffe_pb2.SolverParameter()
    s.train_net = train_net
    s.test_net.append(test_net)
    s.test_interval = 100
    s.test_iter.append(100)
    s.max_iter = 10000
    s.base_lr = 0.01
    s.momentum = 0.9
    s.weight_decay = 5e-4
    s.lr_policy = 'step'
    s.stepsize = 3000
    s.gamma = 0.1
    s.display = 100
    s.snapshot = 0
    s.snapshot_prefix = './lenet'
    s.type = 'SGD'
    s.solver_mode = proto.caffe_pb2.SolverParameter.GPU

    with open(solver_file, 'w') as file:
        file.write( str(s) )

def Training(solver_file):
    """
    training
    """

    caffe.set_device(0)
    caffe.set_mode_gpu() 
    solver = caffe.get_solver(solver_file)
    #solver.solve() # solve completely
    
    number_iteration = 10000

    # collect the information
    display = 100

    # test information
    test_iteration = 100
    test_interval = 100

    # loss and accuracy information
    train_loss = np.zeros( np.ceil(number_iteration * 1.0 / display) )
    test_loss = np.zeros( np.ceil(number_iteration * 1.0 / test_interval) )
    test_accuracy = np.zeros( np.ceil(number_iteration * 1.0 / test_interval) )

    # tmp variables
    _train_loss = 0; _test_loss = 0; _test_accuracy = 0;

    # main loop
    for iter in range(number_iteration):
        solver.step(1)

        # save model during training
        if iter in [10, 30, 60, 100, 300, 600, 1000, 3000, 6000, number_iteration - 1]:
            string = 'lenet_iter_%(iter)d.caffemodel'%{'iter': iter}
            solver.net.save(string)

        if 0 == iter % display:
            train_loss[iter // display] = solver.net.blobs['SoftmaxWithLoss1'].data
            
        '''
        # accumulate the train loss
        _train_loss += solver.net.blobs['SoftmaxWithLoss1'].data
        if 0 == iter % display:
            train_loss[iter // display] = _train_loss / display
            _train_loss = 0
        '''

        if 0 == iter % test_interval:
            for test_iter in range(test_iteration):
                solver.test_nets[0].forward()
                _test_loss += solver.test_nets[0].blobs['SoftmaxWithLoss1'].data
                _test_accuracy += solver.test_nets[0].blobs['Accuracy1'].data

            test_loss[iter / test_interval] = _test_loss / test_iteration
            test_accuracy[iter / test_interval] = _test_accuracy / test_iteration
            _test_loss = 0
            _test_accuracy = 0

    # save for analysis
    np.save('./train_loss.npy', train_loss)
    np.save('./test_loss.npy', test_loss)
    np.save('./test_accuracy.npy', test_accuracy)
    
if __name__ == '__main__':
    WriteNet()
    GenerateSolver(solver_proto, train_proto, test_proto)
Training(solver_proto)

利用上述代码训练出来的model进行预测，并对结果进行分析（相关分析代码参见上述链接）：

• 利用第10000步（最后一步）时的model进行预测，其分类错误率为0.91%。为了能够直观的观察哪些图片被分类错误，这里我们给出了所有分类错误的图片。在对应标题中，第一个数字为预测值，第二个数字为实际真实值。从中我们可以看到，如红框所示，有许多数字确实是鬼斧神工，人都几乎无法有效区分。

• 现在，我们来看一看，针对每一类，其究竟被分成了哪些数字？这个其实可以从上图看出，这里我给出他们的柱状图，其中子标题表示真实的label，横坐标表示被错误分类的label，纵坐标表示数量，最后一个子图表示在所有的错误分类中，每一类所占的比例。从中可以看出，3/5，4/6，7/2，9/4等较容易混淆，这个也可以非常容易理解。此外，我们也可以发现，数字1最容易分辨，这个可能是因为每个人写1都比较相似，变体较少导致的。

• 接着，让我们来考察一下，在迭代过程中，每个数字的分类准确度是如何变化的。其中，子标题表示真实的label，横坐标表示迭代步数，纵坐标表示分类错误的数量，最后一个子图表示迭代过程中，总的错误率的变化曲线。从该图中，我们可以看出，在迭代过程中，一个图片是有可能先被分类正确后来又被分类错误的（各子曲线并不呈现单调递减的关系），这点也可以从中间变量中进行定量分析看出（代码中有该变量）。

• 关于train loss、test loss以及accuracy的曲线。注意，这里的train loss是某一步的值（因此具有强随机性），而test loss以及accuracy则是100次的平均值（因此较为平滑）

• 最后，让我们来分析一下全连接网络（DNN）的结果。所采用的网络架构为LeNet-300-100。其最终的分类错误率为3.6%。这里我仅给出按比例随机挑选的100张错误图片，以及在迭代过程中每个数字错误率的变换，如下所示。可以看到，DNN网络在第10步时其错误率高达80%左右，而CNN网络在该步时的错误率为30%左右，这其中是否有某种深刻内涵呢？