linux服务器（centos 7.8）配置深度学习环境

参考链接：　

　　使用GPU云服务器搭建深度学习环境（CUDA+CUDNN）

　　CentOS下的CUDA安装和使用指南

　　Linux系统CUDA10.2+CUDNN安装教程

　　Linux GPU加速训练环境搭建（NVIADIA、CUDA、CUDNN）

anaconda 镜像源

清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/

//清华anaconda镜像：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/

conda config --set show_channel_urls yes

//中科大anaconda镜像：
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/

conda config --set show_channel_urls yes

  

yum 镜像源 

http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/
http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/


http://mirrors.aliyun.com/repo/   #阿里云
http://mirrors.163.com/.help/centos.html   #网易
https://mirrors.tuna.tsinghua.edu.cn/help/centos/   #清华
http://mirrors.cqu.edu.cn/repo/centos/   #重庆大学

安装anaconda（可从 https://repo.anaconda.com/archive/index.html 选择需要的版本）

wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh

wget https://repo.continuum.io/archive/Anaconda3-2021.05-Linux-x86_64.sh

sudo chmod 777 Anaconda3-2021.05-Linux-x86_64.sh    #如果权限太小，安装了也找不到conda命令

ls -al  Anaconda3-2021.05-Linux-x86_64.sh   #确认文件权限、或者看到文件变绿色
bash Anaconda3-5.0.1-Linux-x86_64.sh
echo 'export PATH="/root/anaconda3/bin:$PATH"' >> ~/.bashrc
source .bashrc
conda upgrade --all

如果你环境变量也好好的，但是还是 conda command not found，那很有可能是你的安装包，也就是sh文件的权限问题，这时候要重新安装 

vim ~/.bashrc

export PATH=/root/anaconda3/bin:$PATH
export LD_LIBRARY_PATH="/root/anaconda3/lib:$LD_LIBRARY_PATH"     #主要用于指定查找动态库时除了默认路径(如 /lib和/usr/lib等)之外的其他路径

source ~/.bashrc

执行 source /etc/profile 失败并提示 'abrt-cli status' timed out

/root/anaconda3/lib/liblzma.so.5: version `XZ_5.1.2alpha' not found (required by /lib64/librpmio.so.3)

# 下载并安装 liblzma.so.5.2.2 
# https://sourceforge.net/projects/lzmautils/files/
xz -V
vim .bash_profile
export LD_LIBRARY_PATH=/lib64/:$LD_LIBRARY_PATH
source .bash_profile

cd /root/anaconda3/lib/
ls /lib64
cp /lib64/liblzma.so.5.2.2 /root/anaconda3/lib/
#unlink liblzma.so.5
ln -s -f liblzma.so.5.2.2 liblzma.so.5

　　

安装GCC编译器  yum 安装的 gcc 版本较低

gcc及依赖包安装

              gmp下载链接：http://ftp.gnu.org/pub/gnu/gmp/

              mpfr下载链接：http://mirror.hust.edu.cn/gnu/mpfr/

              mpc下载链接：http://ftp.gnu.org/gnu/mpc/

              isl  下载链接：https://www.mpfr.org/mpfr-3.1.4/

　　　　　　　　　　 http://www.mirrorservice.org/sites/sourceware.org/pub/gcc/infrastructure/

gcc 7.5 对应的4个依赖包分别是: gmp-6.1.0.tar.bz2，isl-0.16.1.tar.bz2 , mpc-1.0.3.tar.gz , mpfr-3.1.4.tar.bz2

tar -xjvf  文件名.tar.bz2 -C /usr/local
tar解压命令
x:解压  j:bz2方式  v:详细显示  f:使用档名  -C:指定解压到的路径

tar -zcvf  文件夹名.tar.gz

gcc --version
sudo install -y gcc #ubuntu
yum install -y gcc #RHEL/CentOS

sudo yum install -y gcc gcc-c++ kernel kernel-devel kernel-header

rpm -qa | grep gcc
rpm -qa | grep kernel

 

安装其他依赖库包

yum install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
报错：/root/anaconda3/lib/liblzma.so.5: version `XZ_5.1.2alpha' not found (required by /lib64/librpmio.so.3)

xz下载地址：https://sourceforge.net/projects/lzmautils/files/

# 安装 xz-5.2.2
tar -zxvf xz-5.2.2.tar.gz
cd xz-5.2.2
mkdir /opt/software/zx
./configure --prefix=/opt/software/zx     #指定安装目录
make && make install    #编译并安装
#ln -s /opt/software/zx /usr/local/bin/xz     #建立软链接

# 切换到/lib 目录， 将 lib64 下的一个文件复制到/lib
cd /lib
cp /lib64/liblzma.so.5.2.2 /lib/

# 在/lib 下创建链接
sudo ln -s -f liblzma.so.5.2.2 liblzma.so.5

# 测试yum list
cd /root/anaconda3/lib/
cp /lib64/liblzma.so.5.2.2  /root/anaconda3/lib/
sudo ln -s -f liblzma.so.5.2.2 liblzma.so.5

报错：/usr/lib64/python2.7/site-packages/pycurl.so: undefined symbol: CRYPTO_num_locks
http://t.zoukankan.com/relax-zw-p-11328504.html

安装对应版本的Kernel Headers以及对应的开发包
无论你什么时候更改了kernel的版本，对应版本的kernel headers以及开发包都必须在安装CUDA之前安装好
查看系统的内核(kernel)版本号：uname -r
在安装CUDA驱动前，系统的kernel headers以及开发包的版本号必须和这个版本号一致。
安装和内核版本一致的kernel headers以及开发包：
sudo yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) #RHEL/CentOS
sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) #Fedora
sudo apt-get install linux-headers-$(uname -r) #Ubuntu

安装CUDA SAMPLE所必需的依赖包
sudo apt-get install -y make freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libglu1-mesa-dev

关闭 the Nouveau drivers
检查nouveau驱动是否启动
lsmod | grep nouveau #有输出表示启动
关闭
ll /usr/lib/modprobe.d/blacklist-nouveau.conf
vim /usr/lib/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0

安装CUDA +CUDNN

cuda_11.4.0_470.42.01_linux.run

cudnn-11.4-linux-x64-v8.2.2.26.tgz

# 安装CUDA
chmod +x cuda_11.4.0_470.42.01_linux.run   #修改文件运行权限，之后文件变为绿色
sudo sh cuda_11.4.0_470.42.01_linux.run
由于你的系统中已经有了nvidia显卡驱动,如果不想安装cuda11.4中附带的驱动,移动到driver选项上,按空格键将该项取消。再移动到install回车，等待安装。

vim ~/.bashrc
export PATH=/usr/local/cuda-11.4/bin:$PATH    #其实有cuda和cuda-11.4两个
export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-11.4:$CUDA_HOME
source ~/.bashrc

nvcc -V  #验证安装成功


# 安装CUDNN
#解压文件
tar -xzvf cudnn-11.4-linux-x64-v8.2.2.26.tgz
#拷贝至指定目录
sudo cp cuda/include/cudnn* /usr/local/cuda-11.4/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-11.4/lib64
sudo chmod a+r /usr/local/cuda-11.4/include/cudnn* 
sudo chmod a+r /usr/local/cuda-11.4/lib64/libcudnn*

#如果结果如下图逐行显示版本号，则安装成功
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

　　

numba 是 Anaconda 自带的扩展库之一。在输入如下命令可查看硬件信息、操作系统信息、Python 版本、CUDA 版本信息。

numba -s

　　

conda install -c conda-forge cudatoolkit=11.2 cudnn=8.1.0

如果是从 https://repo.anaconda.com/pkgs/main/linux-64/ 下载的离线安装包  .tar.bz2 则按照下面方法安装

conda install --use-local xxx.tar.bz2

下载 NVIDIA Driver

wget https://developer.download.nvidia.com/compute/cuda/11.4.4/local_installers/cuda-repo-rhel7-11-4-local-11.4.4_470.82.01-1.x86_64.rpm
sudo rpm -i cuda-repo-rhel7-11-4-local-11.4.4_470.82.01-1.x86_64.rpm
sudo yum clean all
sudo yum -y install nvidia-driver-latest-dkms cuda
sudo yum -y install cuda-drivers

　　

安装pytorch和tensorflow

参照：https://tensorflow.google.cn/install/pip

pytorch与cuda版本对应关系

tensorflow与cuda版本对应关系

tensorflow依赖包

pytorch线上安装：https://pytorch.org/get-started/locally/

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

import torch
torch.cuda.is_available()

pytorch离线包下载：https://download.pytorch.org/whl

torch-1.11.0+cu113-cp39-cp39-linux_x86_64.whl
torchaudio-0.11.0+cu113-cp39-cp39-linux_x86_64.whl
torchvision-0.12.0+cu113-cp39-cp39-linux_x86_64.whl

tensorflowl离线包下载：https://tensorflow.google.cn/install/pip

tensorflow_gpu-2.9.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

tensorflow2.9.0 依赖包列表

 环境变量

  

如果是root用户安装深度学习环境，普通用户执行以下命令可正常使用（依赖包路径需配置在/etc/profile中）：

nvcc -V

nvidia-smi

/root/anaconda3/bin/conda init bash