[框架安装趟雷指南]Ubuntu+1060+cuda+cudnn+Keras+TH+TF+MXnet

[框架安装趟雷指南]Ubuntu+1060+cuda+cudnn+Keras+TH+TF+MXnet

https://zhuanlan.zhihu.com/p/23480983

天清

9 个月前

写这篇文章的问题是为了回报社会，同时纪念长达一周的地狱般的安装（折腾）过程。

本文不一定是最佳安装方法，也不一定适合每一个人，主要目的是帮助大家避坑。

已经更到安装完毕keras+th+tf并开启gpu支持，如果发现有任何错误请务必指正。

感谢一切在安装过程中给予我帮助的文档作者、群友、同行，感谢清华大学开源软件镜像站，感谢x雷。

重要的话写在前头：

1：不要尝试Windows安装！不要尝试Windows安装！不要尝试Windows安装！成功安装只属于不可复制的小概率事件！不要想着工作娱乐用Windows，在Windows上搞深度学习会方便！呵呵，等着系统完蛋工作娱乐一起毁吧。>.<

2：网上文档众多，不少过于老旧或者不适合你的环境，注意避坑！小trick：在用100度搜索时，用筛选功能筛进一周或者一个月的，选择环境硬件与自己相近的。

正文：

我的配置：

华硕主板，双路e5，GTX1060，240gINTEl固态装win，120gINTEL固态装Ubuntu，1T机械放东西。

最终系统及重要环境：Ubuntu16.04(sever)，cuda8.0.44，cudnn5.1

一.安装ubuntu（最大的坑！已有ubuntu跳过）

用N卡装ubuntu是一件很坑的事，安装界面都可能进不去。这是最大的坑，过去了以后其他的其实都是小坑。

避坑方法：安装sever版再安装Desktop！！！！！！！！！

sever 版优点是无图形界面，可以顺利安装并进入系统（命令行），至少能让计算机活过来。N卡福音。

缺点也是无图形界面，真的不习惯。

安装过程：

1.官网下载：Ubuntu Server

2启动盘制作

过程参照这一篇教程：Ubuntu 16.04 U盘安装图文教程_Linux教程_Linux公社-Linux系统门户网站

*注意，选择镜像类型时要选择Ubuntu sever installer ，这个和教程有区别。

3.备份！

4.插u盘重启进bios，设置u盘启动。保存退出（重启）

5.U盘启动成功，进入grub

安装过程基本上没坑，不会在那个界面截图，过程参考：Ubuntu Server 13.10 安装配置图解教程

*分区的时候需要注意，最好准备一块空硬盘单独安装ubuntu，这个和文档不一样

选择手动》》选择要安装的硬盘的名称那行》》建立空白分区列表》》选择空白分区》》自动分区》》确认写入

最后别忘了拔u盘，修改BIOS

6.安装完成，应该是黑屏。。。。

不要慌，sever就这样，默认进入黑屏！按ctrl+shift+f1进入命令行，输入用户名和密码！

升级和配置基本环境

sudo apt update
sudo apt upgrade
sudo apt install -y python-dev python-pip python-nose gcc g++ git gfortran vim
sudo apt install -y libopenblas-dev liblapack-dev libatlas-base-dev

二、配置n卡

第二大坑，根据另外一个显卡是集显或者核心有不同。

安装流程:

安装desktop>>安装驱动>>重启进desktop

sudo apt-get update
sudo apt-get install ubuntu-desktop

桌面安装完毕，如果进的去，就在附加驱动里看一看N卡用什么驱动，最好换367以上。

不过有可能进不去，切到命令行，安装显卡驱动。

方法1:

wget:驱动网址

sudo service lightdm stop
sudo sh 文件名


sudo service lightdm restart

这里网址我是手打，run文件的

方法2:

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update 
sudo apt-get install nvidia-367 
sudo apt-get install mesa-common-dev 
sudo apt-get install freeglut3-dev
sudo service lightdm restart

重启，应该能成功进入桌面系统了

如果闪退，就尝试重启，再不行就再装一次驱动

三、安装cuda

在NVIDIA下载cuda8的runfile local版，注意8.0.44已经解决了gcc版本这个大坑！

https://developer.nvidia.com/cuda-downloads

*小trick，可以在Windows下用x雷下载，速度爆快！

拷到home目录

sudo sh cuda_8.0.44_linux.run

当它询问是否要安装cuda包里带的驱动时(我记得是367.xx)，一般教程都说否，因为他们装cuda8.0.27版本，驱动是361。这里，建议你选否，我也选的no。

千万不要改路径，默认就好

安装完成

下一步要把cuda路径添加到环境变量

sudo gedit ~/.bashrc

在最后一个fi后面换行

写入

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

保存，关闭

source ~/.bashrc

重启

然后应该无坑

输入

nvidia-smi

查看显卡状态

输入

nvcc -V

查看cuda状态

四、安装cudnn

https://developer.nvidia.com/cudnn

N家官网下载，需要注册一个开发者账户，每次下载都要答一个问卷

下载对应的最新版本

解压，cd到新解压出来的cuda文件夹

sudo cp include/cudnn.h /usr/local/cuda-8.0/include/ 
sudo cp lib64/* /usr/local/cuda-8.0/lib64/

五、安装Keras+Theano

提示，Tensorflow慢成狗，慎用。

先把pip源改成清华镜像：

复制自： 清华大学开源软件镜像站

pypi 镜像使用帮助

pypi 镜像每 5 分钟同步一次。

临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package

注意，simple 不能少, 是 https 而不是 http

设为默认

修改 ~/.pip/pip.conf (没有就创建一个)， 修改 index-url至tuna，例如

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

好，我们成功的避免了pip安装时超时以及30byte/s的情况，下面安装keras就非常简单了

sudo pip install -U --pre pip setuptools wheel
sudo pip install -U --pre numpy scipy matplotlib scikit-learn scikit-image
sudo pip install -U --pre theano
sudo pip install -U --pre keras

theano和keras安装完成，注意，此时只有cpu版本，我们要修改theano配置来实现gpu加速

先把tensorflow改成theano

gedit ~/.keras/keras.json

先import 一次keras

python
import theano 
import keras

没报错的话就是成功了

修改theano配置：

gedit ~/.theanorc

写入

[global]
openmp=False 
device = gpu   
floatX = float32  
allow_input_downcast=True  
[lib]
cnmem = 0.8 
[blas]
ldflags= -lopenblas
[nvcc]
fastmath = True

保存退出

python
import keras

应该会有warning说正在使用cudnn5.1，theano只支持5.，如果有问题就降级cudnn或者升级theano

那么恭喜！你已经成功安装keras和theano，并且开启了gpu支持，可以开始用keras愉快的搞♂深度学习了！

六、安装Tensorflow

完全按照官网来吧：

https://www.tensorflow.org/versions/r0.11/get_started/os_setup.html#pip-installation

Then, select the correct binary to install:

# Ubuntu/Linux 64-bit, CPU only, Python 2.7
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp27-none-linux_x86_64.whl

# Ubuntu/Linux 64-bit, GPU enabled, Python 2.7
# Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see "Install from sources" below.
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp27-none-linux_x86_64.whl

# Mac OS X, CPU only, Python 2.7:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.11.0rc2-py2-none-any.whl

# Mac OS X, GPU enabled, Python 2.7:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/gpu/tensorflow-0.11.0rc2-py2-none-any.whl

# Ubuntu/Linux 64-bit, CPU only, Python 3.4
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp34-cp34m-linux_x86_64.whl

# Ubuntu/Linux 64-bit, GPU enabled, Python 3.4
# Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see "Install from sources" below.
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp34-cp34m-linux_x86_64.whl

# Ubuntu/Linux 64-bit, CPU only, Python 3.5
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp35-cp35m-linux_x86_64.whl

# Ubuntu/Linux 64-bit, GPU enabled, Python 3.5
# Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see "Install from sources" below.
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp35-cp35m-linux_x86_64.whl

# Mac OS X, CPU only, Python 3.4 or 3.5:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.11.0rc2-py3-none-any.whl

# Mac OS X, GPU enabled, Python 3.4 or 3.5:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/gpu/tensorflow-0.11.0rc2-py3-none-any.whl
Install TensorFlow:

# Python 2
$ sudo pip install --upgrade $TF_BINARY_URL

# Python 3
$ sudo pip3 install --upgrade $TF_BINARY_URL

So easy！可以在keras里切换后端了。

注意一下keras针对cnn中th和tf卷积核的数据格式

还是在刚才那个修改后端的文件里修改即可。

七、安装MXNet

个人很看好MXNet，简介、速度快、语言多、社区活跃，缺点就是时间段、文档比较少。

先按照官网教程安装

We need git to clone MXNet source code repository to your machine.

# Install git if not already installed.
sudo apt-get update
sudo apt-get -y install git

# Clone mxnet repository. In terminal, run the commands WITHOUT "sudo"
git clone https://github.com/dmlc/mxnet.git ~/MXNet/mxnet --recursive

# Install MXNet dependencies
cd ~/MXNet/mxnet/setup-utils
bash install-mxnet-ubuntu.sh

# We have added MXNet Python package path in your ~/.bashrc. 
# Run below command to refresh environment variables.
$ source ~/.bashrc

下面我们需要修改config.mk文件使其使用gpu

cd MXNet/mxnet

cp make/config.mk .

到mxnet目录编辑config.mk文件

改这几处（文件里本身带教程）

USE_CUDA = 1
USE_CUDA_PATH = /usr/local/cuda
USE_CUDNN = 1

保存

make clean
make -j4

MXNet至此完成

打开python，试验一下

import mxnet as mx
a = mx.nd.ones((2, 3),
... mx.gpu())
print (a * 2).asnumpy()

至此，框架安装结束！

如果我的文档能帮你避掉一两个坑，我将感到无比的欣慰

如有安装过程、代码命令的错误以及侵权等质疑请务必联系我！

深度学习（Deep Learning）TheanoTensorFlow