Pytorch中的Distributed Data Parallel与混合精度训练（Apex）

https://zhuanlan.zhihu.com/p/105755472

 https://zhuanlan.zhihu.com/p/358974461

多GPU训练代码：

https://github.com/yangkky/distributed_tutorial/blob/master/src/mnist-distributed.py