detectron安装+caffe2安装

detectron安装+caffe2安装

因为想跑一下facebook最近开源的detectron物体检测平台，所以安装caffe2+detectron

总结：

一定要好好看官方安装教程：https://github.com/facebookresearch/Detectron/blob/master/INSTALL.md

caffe2教程，caffe2与caffe区别：https://www.jianshu.com/p/5c0fd1c9fef9?from=timeline

detectron是基于caffe2框架，使用mask-rcnn模型实现的物体检测平台

github链接：https://github.com/facebookresearch/Detectron

 

detectron demo：

1、使用detectron进行识别：使用tools/infer_simple.py，调用一个已经训练好的模型model_final.pkl，对图片进行物体检测

2、使用detectron进行训练：使用tools/train_net.py

https://github.com/facebookresearch/Detectron/blob/master/GETTING_STARTED.md

 

detectron的依赖：

因为detectron基于caffe2，而且暂时支持GPU计算，所以我们需要安装caffe2，cuda（cudnn）

 

caffe2安装：

上caffe2官网看安装教程：https://caffe2.ai/docs/getting-started.html?platform=windows&configuration=compile

发现可以有conda安装、github源码编译安装等多种方式。

 

1、使用conda安装：

安装caffe2需要先安装好cuda（cudnn），且已有的cuda版本不同，安装的caffe2版本也不同：

For Caffe2 with CUDA 9 and cuDNN 7 support:

1	conda install -c caffe2 caffe2-cuda9.0-cudnn7

For Caffe2 with CUDA 8 and cuDNN 7 support:

1	conda install -c caffe2 caffe2-cuda8.0-cudnn7

cuda 版本 
cat /usr/local/cuda/version.txt

cudnn 版本 
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

 

则需查看本机cuda版本：http://blog.csdn.net/zhangjunhit/article/details/76532196

查看cudnn版本：https://zhidao.baidu.com/question/330920288150862405.html

 

这里注意在sample中虽然在/usr/local/cuda/include/下找不到cudnn.h文件，但实际上cudnn已经安装好了，只不过cudnn.h文件在/usr/include/下

关于cuda和cudnn各自的作用及相互的关系：http://blog.csdn.net/fangjin_kl/article/details/53906874   http://blog.csdn.net/yangdashi888/article/details/73694446

查看后，本机为cuda 8.0

 

conda安装caffe2完成。

 

但是，启动detectron的时候，显示缺少core包

这个core包是什么？？pip和conda直接安装core都显示不存在这样的包，百度和google了之后并没有发现有可用的包。

最后发现，conda安装的caffe2中没有detectron模块，缺少了core包。因为detectron太新了，需要用最新的caffe2来支持，因此不能使用conda安装caffe2，应该在官网下载caffe2源码安装caffe2，以保证安装的caffe2中有detectron模块

 

2、使用源码安装：安装依赖（cuda8.0+cudnn6+...）+cmake+sudo make install

首先需要安装一些依赖：

创建一个.sh脚本：

sudo apt-get updatesudo apt-get install -y --no-install-recommends 

      build-essential

      cmake

      git

      libgoogle-glog-dev

      libgtest-dev

      libiomp-dev

      libleveldb-dev

      liblmdb-dev

      libopencv-dev

      libopenmpi-dev

      libsnappy-dev

      libprotobuf-dev

      openmpi-bin

      openmpi-doc

      protobuf-compiler

      python-dev

      python-pip                          sudo pip install

      future

      numpy

      protobuf

修改权限 ，bash运行。成功。

然后：

sudo apt-get install -y --no-install-recommends libgflags2

错误1：缺少多个相互依赖的包

提示缺包，再写个sh脚本，格式同上，将缺的包都写进去，执行脚本，又缺包，再把缺的包加到脚本里。。。直到安装成功

注意，安装依赖需要一次安装完成，切勿单个安装，主要是由于包之间彼此会有一定的依赖关系，这个是你无法准确定位的，故在 一次安装动作中做完，看这篇http://blog.csdn.net/blueheart20/article/details/51901867

 

make过程

接下来就可以把caffe2源码下下来make编译了

一开始，没有仔细读caffe2官网上源码安装的教程，官网上给出的下载时的git命令是这样的：

 

我觉得不就是下载吗，也就没有看官网上的这句，下载命令直接用的 git clone https://github.com/caffe2/caffe2.git

漏掉了–recursive选项，这个选项有什么用呢？git项目代码使用xx.git的方法引用了其他子模块的代码，--recursive选项指定递归下载所有子模块的代码

下面我就因为这个导致了难以发现的错误

 

错误1：cmake2.7需要升级到cmake3.2

下载下来之后，进入文件夹，按照官网上的步骤，cmake编译，这是，程序提示说我的cmake版本过低，需要cmake3.2及以上的，而我是2.7，所以又去安装cmake3，见这篇编译安装cmake3

安装完cmake后，cmake编译，提示缺少头文件numa.h：

numa.h：No such file or directory

上网试了多种办法，最后发现安装一个库就可以了$ apt-get install libnuma-dev，见这篇http://www.cnblogs.com/qq952693358/p/8032956.html

 

错误2：undefined reference to `pthread_create' cmake caffe2

解决了这个错误后，cmake编译，又出现了新的错误，提示有函数未定义undefined reference to `pthread_create' cmake caffe2

上网搜，网上都说什么linux默认库中没有lpthread这个库，所以出现这个错误 ，只需要给cmake命令加上-lpthread选项就行。。。只需要在cmakelists.txt文件里面加上两行什么代码就行。。试了都不对

最后发现，因为一开始从github上下载代码的时候没有加–recursive选项，导致一开始下载的项目不全，加上这个选项重新下载，就可以了，见这篇https://github.com/caffe2/caffe2/issues/1234#issuecomment-334117888

然后cmake ..终于编译成功了

 

make install过程

然后根据教程，还是在build文件夹里，sudo make install（注意这次不是cmake了）

 

错误1：nccl.cu(36): error: argument of type "const int *" is incompatible with parameter of type "int *"

又出现了新的错误：nccl.cu(36): error: argument of type "const int *" is incompatible with parameter of type "int *"

上网看了没有别的现成的解决方案，因为它提示参数不匹配，考虑有可能本机上安装的nccl库版本比较旧了，而我下载的caffe2的代码比较新，导致接口参数不一致

用dpkg -l | grep nccl 命令查看一下本机上的nccl库的版本，发现是1.2.3

 

解决方案：更新本机的nccl库

首先把旧的这两个包卸载掉，卸载的过程中发现apt-get install remove命令有时不起作用，因此上网搜了apt-get完整卸载软件的方法：http://blog.csdn.net/get_set/article/details/51276609

apt-get -purge remove libnccl-dev

apt-get -purge remove libnccl1

然后，就要安装新的nccl包了

先查询一下nccl有哪些版本

查询一个包有哪些版本：https://www.cnblogs.com/EasonJim/p/7144017.html

这里，我根据apt-get install libnccl-dev命令的错误提示找到nccl在apt-get上的库的地址：http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64/，查看nccl有哪些版本

看了一下，决定安装最新的2.1.4-1，又因为本机上的cuda是8.0，为了nccl库和cuda一致，所需安装这个：

 

但是直接使用apt-get install libnccl-dev命令，默认安装的是

 

所以使用apt-get的时候需要手动指定安装包的版本：https://www.cnblogs.com/EasonJim/p/7144017.html

apt-get install libnccl-dev=2.1.4-1+cuda8.0

apt-get install 软件包名=版本名

运行，发现还依赖libnccl2，所以加上libnccl2：

apt-get install libnccl-dev=2.1.4-1+cuda8.0  libnccl2=2.1.4-1+cuda8.0

安装成功

 

鉴于这个问题在网上还没搜到解决方案，因此在github上答了一下：https://github.com/caffe2/caffe2/issues/394

 

错误2：cudnn5.0需要升级到cudnn6.0

错误解决，再次sudo make install，运行了一会又有新的错误：

 

看错误提示，意思是我目前的cudnn版本是5.0，而官方推荐6.0及以上（强行推荐，也是醉了 - -）。

那么就要将cudnn5.0更新到cudnn6.0，更新的办法其实和新安装6.0的方法一样，wget下载下来tar.gz安装包，解压到合适位置，然后ldconfig链接一下就可以了，新安装的6.0会自动把5.0覆盖，只不过cudnn6.0的安装包下载前需要现在nvidia官网上注册个账号。注册后就可以在这里下载了https://developer.nvidia.com/rdp/cudnn-download，选择cuDNN v6.0 Library for Linux

下载下来之后：

sudo tar -xzf cudnn-8.0-linux-x64-v6.1.tgz -C /usr/local

rm cudnn-8.0-linux-x64-v5.1.tgz && sudo ldconfig

就安装完成了，查看一下：

 

 

错误3：no rule to make target

然后再sudo make instal，却提示error：no rule to make target，同时还有大量的waring：clock skew detected（时钟漂移）

后来发现是因为重新安装了依赖包（cudnn）之后，需要重新make编译（make编译所有的结果都在build文件夹里，所以要重新编译只需要删除build文件夹，然后再新建一个空的build文件夹，执行make命令即可）

 

 错误4：/usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found

参考这篇文章，发现是因为ubuntu14自带的g++为4.8.4，不支持c++11，所以不支持GLIBCXX_3.4.21，需要升级到g++5.2.0

升级之后，make install 错误消失

 

错误5：undefined reference to `google::protobuf: caffe2

首先参考这篇文章：http://blog.csdn.net/qq_17278169/article/details/64128525，发现是机器上有多个protobuf，冲突了，因此考虑卸载一些。

为什么有多个protobuf就会冲突呢？看这篇http://blog.csdn.net/missdaddio/article/details/67631777

原来，conda中默认的protobuf是最新的3.几的，apt-get中默认的protbuf是2.几的，而caffe仅支持2.几的，因此要

 

参考这篇文章https://github.com/caffe2/caffe2/issues/1597，用

find / -name libprotobuf* 2>/dev/null

/dev/null是什么？2>/dev/null是什么意思？https://zhidao.baidu.com/question/223779994.html

看一下本机上都有哪些protobuf

发现caffe2安装包中自带了，conda中有，/usr/lib中也有

 

最开始不懂，想着卸载掉/usr/lib中的和conda中的，只留着caffe2中自带的

于是，卸载/usr/lib中的：dpkg l | grep protobuf 看一下把看到的包都用 apt-get --purge remove卸载掉了

 

卸载conda中的：conda list 看了一下，看到了一个名为protobuf的，于是conda remove卸载掉。

 

然后删除build目录后重新cmake，make install，在make install过程中又出现错误：

错误6：error: ‘XXXX’ is not a member of ‘google::protobuf::

 

仔细检查，发现是因为我在之前解决错误5的过程中犯了2个错误：

1、conda中的protobuf没有卸载掉。

直接命令行执行protoc（protobuf的主要命令），可以发现能执行

于是用which protoc看一下，发现这个命令对应的可执行文件在/opt/conda/bin/下，说明conda中的protobuf没有被卸载掉！

又用conda list仔细看了一下，发现刚才我用conda remove卸载掉了一个名为protobuf的包，但是实际上conda list中还有一个名为libprotobuf的包。

2、apt-get中的protbuf不应该卸载掉。我一开始就忽略了一个问题，caffe2安装的官方文档中已经说了需要用apt-get安装protbuf库了啊！

 

 

于是我conda remove libprotobuf卸载掉了conda中所有的protobuf，又apt-get把apt-get的那几个依赖包装了回来。

再次清空build文件夹，cmake&make install，make install