• caffe的python接口学习(2)生成solver文件


     caffe在训练的时候,需要一些参数设置,我们一般将这些参数设置在一个叫solver.prototxt的文件里面

    有一些参数需要计算的,也不是乱设置。

    假设我们有50000个训练样本,batch_size为64,即每批次处理64个样本,那么需要迭代50000/64=782次才处理完一次全部的样本。我们把处理完一次所有的样本,称之为一代,即epoch。所以,这里的test_interval设置为782,即处理完一次所有的训练数据后,才去进行测试。如果我们想训练100代,则需要设置max_iter为78200.

    同理,如果有10000个测试样本,batch_size设为32,那么需要迭代10000/32=313次才完整地测试完一次,所以设置test_iter为313.

     学习率变化规律我们设置为随着迭代次数的增加,慢慢变低。总共迭代78200次,我们将变化lr_rate三次,所以stepsize设置为78200/3=26067,即每迭代26067次,我们就降低一次学习率。 

    下面是生成solver文件的python代码,比较简单:

    复制代码
    # -*- coding: utf-8 -*-
    """
    Created on Sun Jul 17 18:20:57 2016
    
    @author: root
    """
    path='/home/xxx/data/'
    solver_file=path+'solver.prototxt'     #solver文件保存位置
    
    sp={}
    sp['train_net']=‘“’+path+'train.prototxt”'  # 训练配置文件
    sp['test_net']=‘“’+path+'val.prototxt”'     # 测试配置文件
    sp['test_iter']='313'                  # 测试迭代次数
    sp['test_interval']='782'              # 测试间隔
    sp['base_lr']='0.001'                  # 基础学习率
    sp['display']='782'                    # 屏幕日志显示间隔
    sp['max_iter']='78200'                 # 最大迭代次数
    sp['lr_policy']='“step”'                 # 学习率变化规律
    sp['gamma']='0.1'                      # 学习率变化指数
    sp['momentum']='0.9'                   # 动量
    sp['weight_decay']='0.0005'            # 权值衰减
    sp['stepsize']='26067'                 # 学习率变化频率
    sp['snapshot']='7820'                   # 保存model间隔
    sp['snapshot_prefix']=‘"snapshot"’       # 保存的model前缀
    sp['solver_mode']='GPU'                # 是否使用gpu
    sp['solver_type']='SGD'                # 优化算法
    
    def write_solver():
        #写入文件
        with open(solver_file, 'w') as f:
            for key, value in sorted(sp.items()):
                if not(type(value) is str):
                    raise TypeError('All solver parameters must be strings')
                f.write('%s: %s
    ' % (key, value))
    if __name__ == '__main__':
        write_solver()
    复制代码

     执行上面的文件,我们就会得到一个solver.prototxt文件,有了这个文件,我们下一步就可以进行训练了。

  • 相关阅读:
    dragloader.js帮助你在页面原生滚动下实现Pull Request操作
    移动Web单页应用开发实践——实现Pull to Request(上/下拉请求操作)
    【转】移动Web单页应用开发实践——页面结构化
    前端网址收集!Amazing! 神奇!
    前端代码书写规范
    扫描工具 分析
    backtrack5渗透 笔记
    Sqlmap注入技巧集锦
    nmap 高级扫描用法
    小温谈数据库优化--数据设计篇(转)
  • 原文地址:https://www.cnblogs.com/niulang/p/8984818.html
Copyright © 2020-2023  润新知