miniconda配置安装pytorch cuda版本 + pytorch lightning

1. 安装miniconda

• 下载安装包

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

• 执行程序

bash Miniconda3-latest-Linux-x86_64.sh

• 重启终端或者source .bashrc后安装完毕；执行conda，不报错说明安装成功
   

2. 更换为清华源

PS：后添加的会排在channels列表的最上面，因此越后添加的优先级越高。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

conda config --set show_channel_urls yes
conda config --set auto_activate_base false
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

或者修改.condarc文件：

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true
auto_activate_base: false

PS: 这里的顺序最好一致，排在越上面的表示优先级越高，因此在安装pytorch的时候，会优先在第一个源仓库中去寻找。而gpu版本的pytorch也只有第一个仓库中含有。

---

conda恢复默认源的方法：

config --remove-key channels
conda config --set show_channel_urls yes
conda config --set auto_activate_base false

或移除清华源：

conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

或者修改.condarc文件：

channels:
  - defaults
show_channel_urls: true
auto_activate_base: false

3. 新建python3.8环境

conda create -n torch python=3.8

并激活该环境，进入该环境后才能将pytorch安装在此环境中：

conda activate torch

4. 安装pytorch

安装cuda和cudnn按照这篇文章。

安装pytorch前需要查看本机的cuda版本：

nvcc -V

由图可知cuda版本为11.0.221

查看cudnn版本

• whereis cudnn 找到相应的目录
• cat /usr/local/cudnn/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

可知cudnn版本为8.1.1

如果未安装cuda和cudnn，也可以使用conda来安装，前提是conda源中含有相应的版本。

• 利用conda安装cuda和cudnn（根据显卡型号安装相应驱动）

conda install cudatoolkit=11.0.221

• 安装cudnn（如果没有安装cudnn，我们可以用conda安装，否则这一步不需要）
  通过下面的网址可以知道cudnn与cuda版本对应关系：
  https://developer.nvidia.com/rdp/cudnn-archive#a-collapse742-10
  从 https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/ 查看有无cuda版本对应的pytorch以及所需要的cudnn版本。
  

因此cudnn的版本最好为8.0.5
（但是我们这里选择了cudnn=8.1.1，原因是cudnn 8.1.1也支持cuda11.0，选择支持自己cuda版本的最新版本，向下兼容，见下图）

4.1 使用默认源安装pytorch

对应cuda版本11.0.221，我们找到了1.7.1版本的pytorch与之对应。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

4.2 使用清华源安装pytorch

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0

4.3 指定channel安装pytorch

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch

4.4 本地安装pytorch

这里用pytorch 1.7.1 cuda版本举例。

4.4.1 下载所需的安装包

从清华开源镜像中找到所需要的安装包：

使用wget下载对应的安装包

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2

 
或者本地用迅雷下载资源（速度较快）[SCP指令部分]
然后通过scp指令上传到服务器：

scp /Users/username/Downloads/filename username@servername:/path
补充：多文件拷贝
scp /Users/username/filedir/filename1 filename2 filename3  username@servername:/path

PS:
scp使用密钥验证并上传文件到服务器：

scp -i 证书的绝对路径/证书.perm 路径/需要上传的文件 username@servername:/path

scp下载单文件指令：

scp username@servername:/path/filename /localdir（本地目录）
补充：
1. 多文件拷贝
scp username@servername:/path/\{filename1,filename2,filename3,filepre.* \} /localdir
2. scp默认连接的远端主机22端口，如果ssh不是使用标准的22端口（以222为例）则使用-P（P大写）指定：
scp -P 222 username@servername:/path/filename /localdir（本地目录）

scp下载目录文件指令：

scp -r username@servername:/var/www/remote_dir/（远程目录） /local_dir（本地目录）

scp上传目录文件指令：

scp  -r local_dir username@servername:remote_dir

4.4.2 conda本地安装

下载完成后开始本地安装。

conda install --use-local pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2

测试时候会报错，原因是没有安装相关依赖：

提示说明缺少动态链接库文件，文件在mkl库中，需要另外安装。
安装所需要的依赖后即可：

conda install mkl

5. 测试pytorch是否安装成功

终端执行python，并输入以下命令：

import torch
print(torch.__version__, torch.cuda.is_available())

如果结果如下，则说明cuda版本的pytorch安装成功。

6. 安装pytorch_lightning

前提：安装的pytorch至少应该是1.7版本。

conda install pytorch-lightning