• caffe中python接口的使用


    下面是基于我自己的接口,我是用来分类一维数据的,可能不具通用性:

    (前提,你已经编译了caffe的python的接口)

    添加 caffe塻块的搜索路径,当我们import caffe时,可以找到。

    对于这一步,一般我们都会把 cafffe 模块的搜索路经永久地加到先加$PYTHONPATH中去,如可以把 export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH 写到 .bashrc中。而下面的做法,只是临时的做法哦;

    improt sys
    #sys.path为一个列表,用什么方法加入都好啊,我用insert直接插到首位
    sys.path.insert(0, ‘caffe_python的路径,我的为~/down/caffe/python/')

    设置使用的设备:

    在用显卡并行运算算的时候,如果多显卡的时候,输入它们的序号表示使用哪一块卡,如果单显卡的话(比如我的笔记本电脑,应该都为0,表示第一块)。

    caffe.set_device(0)
    caffe.set_mode_gpu()
     
    caffe.set_mode_cpu()    #使用caffe的GPU模式

    设定网络的solver:

    选中我们的solver_prototxt文件,里面就是设定了网络的训练次数啦,各参数的值啦等啦。

    solver = None
    #选用SGD算法来进行运算;
    solver = caffe.SGDSolver('你的网络的lenet_solver.prototxt 文件‘)
    # 执行完上面的语句以后,网络的相应的权值与偏置会根据我们的定义进行赋值的;

    caffe中的数据保存及调用:

    在caffe中,我们的网络可以分为训练网络与测试网络哦,训练网络用solver.net.blobs、solver.net.params;对面测试网络,用solver.test_nets[i].blobs、solver.test_nets[i].params(其中 i 表示 第几个测试网络,从0开始。例如,我们就一个测试网络的话,我们就写为:solver.test_nets[0].blobs。)

    下面,我们以训练网络为例子,看看caffe中的数据的存储与调用方法。 caffe的 数据都是放在 blobs块中的,我觉得这个好牛逼啊,太统一了。

    solver.net.blobs 里面放的为每一层layer输出的data、对输出结点求的导数 diff,另外还有几个如count等参数,不过我们基本用不到的,不要关注一下data数据就可以了。

    #solver.net.blobs为一个字典的数据类型,里面的key值为各个layer 的名字,value为caffe的blob块;
     
    solver.net.blobs
    #输出: 
    rderedDict([('data', <caffe._caffe.Blob at 0x7f7bde968398>),
                ('label', <caffe._caffe.Blob at 0x7f7bde968488>),
                ('conv1', <caffe._caffe.Blob at 0x7f7bde968578>),
                ('pool1', <caffe._caffe.Blob at 0x7f7bde968e60>),
                ('conv2', <caffe._caffe.Blob at 0x7f7bde9686e0>),
                ('pool2', <caffe._caffe.Blob at 0x7f7bde968cf8>),
                ('ip1', <caffe._caffe.Blob at 0x7f7bde968c80>),
                ('ip2', <caffe._caffe.Blob at 0x7f7bde968c08>),
                ('loss', <caffe._caffe.Blob at 0x7f7bde968b90>)])
    
    #我们可以访问Blob块里的内容了,通过看Blob块的源码你会发现里面有data, diff,count等内容的。
    #我们以conv1层为例子,我们访问 conv1的输出的数据,可以通过下面的语句:
    solver.net.blobs['data'].data      
    solver.net.blobs['data'].diff  
    #如果想看它们的数据结构,可以通过下面的语句得到:
    solver.net.blobs['data'].data.shape
    solver.net.blobs['data'].diff.shape
    #另外,还可以通过reshape()transpose()等操作对它们变形,应该是对数组的操作之类的吧。
     

    solver.net.params为一个字典的数据类型,里面放的是与连接的权值及偏置相关的数据,如:data(表示权值的大小),diff(对于权值的导数),还有 count 之类的,我们只关注一个 data 就可以了吧。

    solver.net.params[网络的名字][0]

    #solver.net.params为一个字典的数据类型,key值为layer 的名字,value为caffe的blob块的容器哦;
    solver.net.forward()
    #输出为:
    solver.net.params
    orderedDict([ ('conv1', <caffe._caffe.BlobVec at 0x7f7bffd68578>),
                ('conv2', <caffe._caffe.BlobVec at 0x7f7bde9ff6e0>),
                ('ip1', <caffe._caffe.BlobVec at 0x7f7bde968f80>),
                ('ip2', <caffe._caffe.BlobVec at 0x7f7bde968408>)])
    
    #下面,我们可以访问Blob块里的内容了。#们以conv1层为例子,具体如下:
     
    #sover.net.params['conv1'][0]里面放是与连接权值相关的数据;可以通过下面方式访问:
    solver.net.params['conv1'][0].data  
    solver.net.params['conv1'][0].diff
    #solver.net.params['conv1'][1]里面放的是与偏置相关的的值、导数等;可以通过下面方式访问:
    solver.net.params['conv1'][1].data 
    solver.net.params['conv1'][1].diff
     
    #同样,我们可以还可以通过它们进行 shape()、reshape()、transpose()等操作

    前向传播与反向传播

    进行一次前向传播:使用 solver.net.forward或 solver.test_nets[i].forward 语句: 它干了点什么呢?它把数据从输入层到最后的输出层传播了一个遍,把相应的每一层网络的输出值赋于blobs,网络输入的的数据个数为你的net的定义文件里的patch_size的大小。

    #训练数据作为输入,进行一次前向传播:
    solver.net.forward()
     
    #假如有300个数据,我们的patch_size的大小为100,那么:
    solver.net.forward()    #数据为1-100;
    solver.net.forward()    #数据为101-200
    solver.net.forward()    #数据为201-300
    solver.net.forward()    #数据为1-100
    #另外,我们可以设置forward开始的地方,如下面所示:
    solver.net.forward(start ='conv1')          #表示从conv1开始,这样的话,data层这不用传用新的数据了。

    进行反向传播:使用:solver.net.forward,基本是都是我们的训练网络会进行反向传播的。反向传播做了点什么事呢?把会求出相应的导数啦,即blobs块里面的diff变量。

    记住:它不会去更新权值与偏置的;

    # 进行一次反向传播
    solver.net.forward()

    进行完整的一次计算(minibatch):solver.step(1):(包括数据的前向传播,误差反向传播,以及网络权值的update)

    #当我们完整地进行一次权值更新地时候,我们可以调用下面的语句
    #把意思就是:训练网络进行一次正向与反向传播,并进行更新权值与偏置;
    sover.step(n)表示进行n次训练。
    
    # 表示进行n次训练。
    sover.step(n)

    注意:当我们用python接口运行caffe时,我们就可以控制它的Loop过程了,然后跟踪很多变量,干点自己想干的事啦等。 除此之外,与直接用caffe的C++代码且没有什么差别,并且在sover prototxt定义的相关操作都会进行的,如logging, snapshot, test等。

    2017年3月10日添加,有点乱,没有整理:

     
     

    solver.solve(), 会进行完整的梯度训练,直至在solver中规定的max_iter.

    用 caffe_root/python/draw_net.py 画出 网络的结构图:

    第一点:需要安装:graphviz, 可以直接通过 sudo apt-get install graphviz,安装就可以了。

    第二点:安装pydot 模块,可以通过 pip pydot安装,注意:pydot 不支持python3, 所以,我们也可以安装 pydotplus来代替, pip install pydotplus;

    现在,就可以运行 draw_net.py 画图了,例子如下:

    ./draw_net.py my_net.prototxt my_picture.png

    caffe中,在训练过程中,关于进行snapshot的相关问题:

    除了我们可以在solver.prototxt 文件里定义相关的snapshot外,我们呢,也可以在训练过程中,进行手动 保存;在进行snapshot时,会保存下面两个文件:

    .caffemodel :

    The caffemodel, which is output at a specified interval while training, is a binary contains the current state of the weights for each layer of the network.

    .solverstate:

    The solverstate, which is generated alongside, is a binary contains the information required to continue training the model from where it last stopped.

    方法一: solver.snapshot(), 可以在训练过程中,手动进行snapshot.,它会保存 .caffenodel与 .solverstate两个文件;常用于进行恢复训练过程;(保存的路径为solver.prototxt 文件里面定义的路径)

    方法二:net.save(), 它只会保存一下 .caffemodel文件,常用于进行测试时。 使用方法:如, net. save(‘my_path/my_weights.caffemodel’);

    关于在pycaffe中载入solver.ptototxt 文件的问题:

    两个方法:

    第一,当使用 caffe.SGDSolver(‘solver文件’)时,无论你的solver文件中定义的solver_type是什么,都会用SGD方法;

    第二,solver = caffe.get_solver(‘里面是solver.prototxt文件’);

    怎么导入网络以及它的相关权值进行测试呢,可以这么做:

    第一,直接进行导入权值进行测试时,我们可能用到:
    net = caffe.Net(网络的定义文件, caffemodel的权值保存文件,选择:caffe.TEST)  ,因为一个.prototxt文件中可以即定义train,也定义test,对应的caffe.TRAIN与caffe.TEST.
    如一个例子:
    net = caffe.Net('models/bvlc_reference_caffenet/deploy.prototxt',
                    'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel',
                    caffe.TEST)

    第二,在预训练的基础上再训练网络时,我们不仅仅导入了预训练的权值,还导入 solver.prototxt

    如果我们要在预训练的基础上再用新定义的solver.prototxt文件训练我们的网络,我们可以这么做:(区别就是我们不会随机初始化权值,而是直接导入pretrained的权值)

    my_solver = caffe.get_solver(net_solver.prototxt)

    my_solver.net.copy_from(pretraind.caffemodel)

    2017年8月14日补:

    solver.iter : 这是一个变量,它会标识了迭代次数;

    QQ截图20170502214151

  • 相关阅读:
    20145334赵文豪《网络对抗》 后门原理与实践
    20145334赵文豪《网络对抗》-逆向及Bof基础实践
    20145333茹翔《网络对抗》Exp9 Web安全基础实践
    20145333茹翔 Exp8 Web基础
    20145333茹翔 Exp7 网络欺诈技术防范
    20145333茹翔《网络对抗技术》Exp6 信息搜集技术
    20145333茹翔 Exp5 MSF基础应用
    20145333茹翔 Exp5 利用nmap扫描
    20145333茹翔 Exp5 Adobe阅读器漏洞攻击
    20145333茹翔 Exp5 MS11_050
  • 原文地址:https://www.cnblogs.com/yinheyi/p/6062488.html
Copyright © 2020-2023  润新知