安装SSD

前面两篇文章讲了用SSD检测框架训练自己的数据集，这篇补充一下SSD的安装。github链接：https://github.com/weiliu89/caffe/tree/ssd
SSD是16年ECCV一篇深度学习目标检测的文章，详细知识可以百度或者谷歌，本文我们介绍如何实现。本文默认各位的机子已安装好opencv, 配置编译过cpu版本的caffe(没有也没关系,下面我会讲下).

1. 在home目录下(也可以其他目录,当然其他目录后面就要修改路径,比较麻烦)，获取SSD的代码，下载完成后有一个caffe文件夹.（由于本人之前已安装caffe，为避免文件名冲突，所以新建一个名为caffessd的文件夹，并将此次下载的‘ssd版本’的caffe放在caffessd文件夹下了。）

mkdir caffessd

cd caffessd

git clonehttps://github.com/weiliu89/caffe.git   #the name of the file you downloaded is "caffe".

cd caffe 

gitcheckout ssd 

2. 修改caffe的配置文件.

将已经配置过的cpu版本caffe中的Makefile.config复制到刚才下载的caffe目录。如果你没有配置过cpu版本的caffe,可以参考这篇博文. Ubuntu16.04+caffe的安装和Py-faster-rcnn在CPU电脑的安装-2.  http://blog.csdn.net/jx232515/article/details/72384465.下面我直接把Makefile.config需要修改的部分贴在下面了.可以照着修改也行.

去掉注释CPU_ONLY:=1   

因为使用CPU，所以要注释掉CUDA有关的行：   

#CUDA_DIR := /usr/local/cuda   

#CUDA_ARCH := -gencodearch=compute_20,code=sm_20    

#        -gencode arch=compute_20,code=sm_21   

#       -gencode arch=compute_30,code=sm_30    

#       -gencode arch=compute_35,code=sm_35    

#       -gencode arch=compute_50,code=sm_50    

#       -gencode arch=compute_50,code=compute_50   

去掉注释WITH_PYTHON_LAYER:= 1   

INCLUDE_DIRS := $(PYTHON_INCLUDE)/usr/local/include /usr/include/hdf5/serial   

LIBRARY_DIRS := $(PYTHON_LIB)/usr/local/lib /usr/lib /usr/lib/i386-linux-gnu/hdf5/serial/usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial   

#TEST_GPUID:= 0 

3.编译caffe

make -j8 

# Make sure to include $CAFFE_ROOT/pythonto your PYTHONPATH. 

make py 

make test -j8 

# (Optional) 

make runtest -j8

4.下载VGG-ILSVRC-16-layers-fc-reduced.caffemodel预训练模型（ https://drive.google.com/uc?id=0BzKzrI_SkD1_WVVTSmQxU0dVRzA&export=downloadhttps://pan.baidu.com/s/1o8A7DZs），将它放入caffe/models/VGGNet/目录下,这样可以直接使用这个模型跑ssd.

5.下载VOC2007和VOC2012数据集，放到/home/data下。（请注意，这里改变了目录）

cd $HOME/data 

wgethttp://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar 

wgethttp://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar 

wgethttp://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar 

# Extract the data. 

tar -xvf VOCtrainval_11-May-2012.tar 

tar -xvf VOCtrainval_06-Nov-2007.tar 

tar-xvf VOCtest_06-Nov-2007.tar

6.将voc2007数据集转换格式,用于模型的训练.

首先进入caffe目录,可以看到/data/VOC0712/有create_list.sh,create_data.sh .运行就可以转换数据格式,用于模型训练.

此处注意create_list.sh和create_data.sh中路径的修改，修改为自己的路径，要不会出错.

（1）本人的create_list.sh修改如下：

#!/bin/bash

root_dir=$HOME/data/zyt/
sub_dir=ImageSets/Main
bash_dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
for dataset in trainval test
do
  dst_file=$bash_dir/$dataset.txt
  if [ -f $dst_file ]
  then
    rm -f $dst_file
  fi
  for name in zyt # VOC2012
  do
    if [[ $dataset == "test" && $name == "VOC2012" ]]
    then
      continue
    fi
    echo "Create list for $name $dataset..."
    dataset_file=$root_dir/$name/$sub_dir/$dataset.txt

    img_file=$bash_dir/$dataset"_img.txt"
    cp $dataset_file $img_file
    sed -i "s/^/$name/JPEGImages//g" $img_file
    sed -i "s/$/.jpg/g" $img_file

    label_file=$bash_dir/$dataset"_label.txt"
    cp $dataset_file $label_file
    sed -i "s/^/$name/Annotations//g" $label_file
    sed -i "s/$/.xml/g" $label_file

    paste -d' ' $img_file $label_file >> $dst_file

    rm -f $label_file
    rm -f $img_file
  done

  # Generate image name and size infomation.
  if [ $dataset == "test" ]
  then
    $bash_dir/../../build/tools/get_image_size $root_dir $dst_file $bash_dir/$dataset"_name_size.txt"
  fi

  # Shuffle trainval file.
  if [ $dataset == "trainval" ]
  then
    rand_file=$dst_file.random
    cat $dst_file | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);' > $rand_file
    mv $rand_file $dst_file
  fi
done

（2）create_data.sh修改如下：

cur_dir=$(cd $( dirname ${BASH_SOURCE[0]} ) && pwd )
root_dir=$cur_dir/../..

cd $root_dir

redo=1
data_root_dir="$HOME/data/zyt"
dataset_name="zyt"
mapfile="$root_dir/data/$dataset_name/labelmap_voc.prototxt"
anno_type="detection"
db="lmdb"
min_dim=0
max_dim=0
width=0
height=0

extra_cmd="--encode-type=jpg --encoded"
if [ $redo ]
then
  extra_cmd="$extra_cmd --redo"
fi
for subset in test trainval
do
  python $root_dir/scripts/create_annoset.py --anno-type=$anno_type --label-map-file=$mapfile --min-dim=$min_dim --max-dim=$max_dim --resize-width=$width --resize-height=$height --check-label $extra_cmd $data_root_dir $root_dir/data/$dataset_name/$subset.txt $data_root_dir/$dataset_name/$db/$dataset_name"_"$subset"_"$db examples/$dataset_name

done

（3）分别执行如下两条命令转换数据格式：

# Create the trainval.txt, test.txt, andtest_name_size.txt in data/VOC0712/ 

./data/VOC0712/create_list.sh 

# You can modify the parameters increate_data.sh if needed. 

# It will create lmdb files for trainvaland test with encoded original image: 

#  - $HOME/data/VOCdevkit/VOC0712/lmdb/VOC0712_trainval_lmdb 

#  - $HOME/data/VOCdevkit/VOC0712/lmdb/VOC0712_test_lmdb 

# and make soft links atexamples/VOC0712/ 

./data/VOC0712/create_data.sh 

此时发现执行create_data.sh时还是出错了，报错为：AttributeError: 'module' object has no attribute 'LabelMap'，原因是没有添加环境变量，

解决方式：其中$CAFFE_ROOT是本人caffe的根目录，注意换成自己的.

vim  ~/.bashrc

最后一行将环境变量的值改为exportPYTHONPATH=/home/zhuyating/caffessd/caffe/python:$PYTHONPATH source~/.profile   （由于本人将此次下载的caffe放在caffessd文件夹下，故路径如上所述。）

echo $PYTHONPATH #检查环境变量的值是否修改成功。

7.训练模型

因为我们用的是cpu，首先修改examples/ssd/ssd_pascal.py文件
将如下代码注释掉

#gpus = "0,1,2,3" 

#gpulist = gpus.split(",") 

#num_gpus = len(gpulist) 

# Divide the mini-batch to different GPUs. 

batch_size = 32 

accum_batch_size = 32 

iter_size = accum_batch_size /batch_size 

solver_mode = P.Solver.CPU 

device_id = 0 

batch_size_per_device = batch_size 

#if num_gpus > 0: 

# batch_size_per_device = int(math.ceil(float(batch_size) /num_gpus)) 

# iter_size = int(math.ceil(float(accum_batch_size) /(batch_size_per_device * num_gpus))) 

# solver_mode = P.Solver.GPU 

#  device_id = int(gpulist[0]) 

然后Linux运行Python文件进行训练(一般CPU电脑是会死机的)：

 Python examples/ssd/ssd_pascal.py

如果不想花费时间训练，可以在这里下载训练好的模型
https://drive.google.com/uc?id=0BzKzrI_SkD1_WVVTSmQxU0dVRzA&export=download
下载后解压，将其中的VGGNet文件夹复制到caffe/models下面，呀，你发现caffe/models下面已经有VGGNet文件夹了，这是之前我们做训练时建立的，没训练就没有了.ok，就可以将VGGNet复制到此处了。

8.测试

1)在图片测试集上测试

pythonexamples/ssd/score_ssd_pascal.py

这时你可能会有以下几种报错：

a.显示cpu-only的版本不能用gpu，ok，打开score_ssd_pascal.py修改为
solver_mode = P.Solver.CPU

b. 出错：checked failed： num_test_image_ <= names_.size() (4952 vs.2525)

原因及解决方法：ssd_pascal.py文件中num_test_image参数是4952，而test_name_size.txt里面却只有2525张图片的信息。此时要检查test_name_size.txt是不是只有2525张图片的信息，若只有2525张图片的信息，则删掉test_name_size.txt，重新转换数据得到4952张图片的信息或者直接拷贝同学已有的test_name_size.txt替换原来的test_name_size.txt。

2)在视频上测试

pythonexamples/ssd/ssd_pascal_video.py 

当然，直接跑是他自带的视频，想跑自己的代码的话，要先用vim打开该文件，定位到51行，修改视频路径为已有本地视频，这样就可以跑自己的视频了。

3)使用摄像头测试

pythonexamples/ssd/ssd_pascal_webcam.py.