• Caffe:如何将图片数据转换成lmdb文件


    1 图片信息的转换

      在caffe中经常使用的数据类型是lmdb或leveldb;不是常见的jpg,jpeg,png,tif等格式;因此,需要进行格式转换,通过输入你自己的图片目录(下有的大量图片)转换成一个lmdb库文件输出;这个过程一般由caffe工具convert_imageset完成,该工具在编译过的caffe-master/build/tools目录下;

    2 格式转换需要的条件

      格式转换准备条件有:1)编译好caffe,而且convert_imageset存在; 2)被转换的图片和目录,注意这些都有格式要求 3)两个标签文件train.txt,val.txt; 4)用命令编辑好的shell脚本create-lmdb.sh;

    3 被转换图片文件和存放目录

          按照下面图示安排转换目录:注意该例子中,图片分为0类和1类两个集合;

    4 标签文件train.txt和val.txt

    转换过程,除了上面提到的图片文件目录,还需要这些图片的标签文件;该文件存放图片文件路径,以及该图片的标签(属于哪个类);一般来说,标签文件有两个,一个描述训练集合-train.txt,一个描述测试集合-val.txt,这两个文件格式有轻微差别,标签文件格式如下:

    train.txt文件:

    1/T10034.jpg 1
    0/096377_01M36.JPG 0
    1/T580.jpg 1
    1/T4151.jpg 1
    0/100333_00F42.JPG 0
    0/076902_04M36.JPG 0

    注意:该文件包含路径/1和/0;分别存放0,1两类图片。

    val.txt文件:

    T10034.jpg 1
    221169_02M52.JPG 0
    T580.jpg 1
    T4694.jpg 1
    332136_01M17.JPG 0
    181085_02M28.JPG 0
    133417_02M37.JPG 0

    注意:该测试集的标签文件无需分类存储;与train.txt和val.txt相伴随的目录结构图对照;显然,文件内容和目录是密切关联的;

    5 如何生成标签文件train.txt和val.txt

      当图片规模达到上千万级别,上述两个文件的生成需要程序实现,网上的找到一个shell脚本如下,

        # /usr/bin/env sh  
        DATA=examples/images  
        echo "Create train.txt..."  
        rm -rf $DATA/train.txt  
        find $DATA -name *cat.jpg | cut -d '/' -f3 | sed "s/$/ 1/">>$DATA/train.txt  
        find $DATA -name *bike.jpg | cut -d '/' -f3 | sed "s/$/ 2/">>$DATA/tmp.txt  
        cat $DATA/tmp.txt>>$DATA/train.txt  
        rm -rf $DATA/tmp.txt  
        echo "Done.."  

      将该文件拷贝到caffe-master目录下执行,会在caffe-master/example/images目录下生成如下的一个train.txt文件:

        cat.jpg 1  
        fish-bike.jpg 2 

      只要将上述文件稍加修改,不难产生你需要的脚本。

     6 用脚本命令生成lmdb

      编写一个shell文件create_lmdb.sh,内容如下:

        #!/usr/bin/en sh  
        DATA=examples/images  
        rm -rf $DATA/img_train_lmdb  
        build/tools/convert_imageset --shuffle   
        --resize_height=256 --resize_width=256   
        /home/my_name/caffe/examples/images/train  $DATA/train.txt  $DATA/img_train_lmdb  

    7 执行脚本

      设置参数-shuffle,打乱图片顺序。设置参数-resize_height和-resize_width将所有图片尺寸都变为256*256.

      /home/my_name/caffe/examples/images/train 为图片保存的绝对路径。最后,运行这个脚本文件

    # sudo sh examples/images/create_lmdb.sh

      就会在examples/images/ 目录下生成一个名为 img_train_lmdb的文件夹,里面的文件就是我们需要的db文件。

     
  • 相关阅读:
    毕业四年,你赚回四年的花费了吗?
    【转】解决VS2008 开发Windows Mobile 项目生成速度慢的问题
    WinCE/Mobile上下滑动浏览DataGrid数据 【转】
    【转】取得汉字拼音的首字母
    漂亮的 Windows Mobile 按钮
    SQLite中的常用操作(总结)
    浅谈HTTP中Get与Post的区别
    Oracle学习之数组
    firefox与ie 的javascript区别
    常用bash shell 脚本
  • 原文地址:https://www.cnblogs.com/gongdiwudu/p/6367433.html
Copyright © 2020-2023  润新知