痛苦一觉醒来训练半小时
1.nohup
用途：不挂断地运行命令。
语法：nohup Command [ Arg … ] [ & ]
无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。
如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。
如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不可调用。
退出状态：该命令返回下列出口值：
126 可以查找但不能调用 Command 参数指定的命令。
127 nohup 命令发生错误或不能查找由 Command 参数指定的命令。
否则，nohup 命令的退出状态是 Command 参数指定命令的退出状态。
用一般连接服务器软件，在训练模型时，如果软件与服务器连接断开，则训练中断，有以下两个命令非常好用：
nohup python train.py 参数 & 这条命令很方便，比如你训练时在(python train.py 参数 )前面加nohup命令，后面加&就可以。默认将当前的输出打印在当前目录的nohup.out文件里，随时连接可以查看，也不怕断开连接训练不会继续
screen 这个命令也可以让训练在后台进行，我不常用，具体用法可以搜一下
2.screen
1 链接服务器.
2 利用screen 命令 ，重起一个新的screen.
screen -S name(新screen的名字，可以任起）
3 开始训练.
4 可以断开terminal，此时训练不受影响.
************************************************
1 启动terminal，查看存在的screen的命令.
screen -ls
screen -r 30362
2 断开当前的screen.
按 Ctrl + A， 然后 K 键