论文：https://arxiv.org/pdf/1810.11787.pdf
译文：深度神经网络分布式训练指引
摘要
深度学习让人工智能领域取得了很大的进步。但是训练这些深度学习模型需要大量的计算。单机单卡训练ImageNet需要一周。多机分布式训练可以极大地减少训练时间。最近，有2048个GPU的一个集群，把训练ImageNet的时间减少到4min。本文调研分布式训练的各种算法和技术，并且提出一个效果最好的分布式训练框架。我们探究同步和异步随机梯度下降、All Reduce 梯度聚合策略、在集群内进行混合精度训练以获得高吞吐低延迟的最佳实践、大批量训练以及梯度压缩。
介绍
1、背景和动机：
数据正在以史无前例的规模产生，这些数据需要被有效分析以获得有意义的信息。深度学习作为强有力的分析工具，在视觉、语言和智能推理等复杂任务上表现都很好。然而，这些算法需要花很长的时间来训练大量的数据，才能得到有效的结果。最初，结果最好是单机单卡训练ImageNet分类模型花了一周，但是现在的数据规模远比ImageNet大。我们需要线性扩展（linear scale）训练速度，同时保留训练结果的精度、容错以及在高延迟的网络中收敛。
2、分布式训练概览：
分布式训练可以分为两种，数据并行和模型并行。
数据并行把数据集平分到各个节点，每个节点都有一份完整的模型以及本地权值子集，每个节点训练数据集子集，并且更新本地权值子集。这些本地权值在集群节点间共享，并通过积累算法，计算得到全局权值。然后全局权值被分发回各个节点，继续下一个batch的训练。（注：BytePS中，每个worker节点都有所有权值，更新权值的主要工作由server节点负责）
模型并行把模型结构分割到不同节点。AlexNet把结构划分到2个GPU，以满足GPU显存要求。模型并行应用于，1）模型太大；2）模型结构可以并行。目标检测网络有隔离的边界和互相独立的类预测头（这个之后深入看看）。
分布式训练框架的组成
1、分布式训练算法：
节点间通信：
分布式训练另一个重要部分就是节点间的数据通信。
梯度积累
梯度积累算法在分布式训练系统中扮演着重要角色。这些算法负责收集每个worker节点的本地梯度，再把更新之后全局梯度分发回各个worker节点。
低精度训练
基于ImageNet训练Resnet，目前最快4min。
算术精度：
梯度和参数压缩
结论
我们调研和总结了分布式训练框架的多种组成部分，以及推荐如下技术来构建一个高效、可扩展的分布式训练框架：
1、使用同步SGD，保证严格收敛。
2、All Reduce过程中的梯度积累应该用binary blocks算法，因为它的运行时间很优越。
3、为了高效利用硬件和网络带宽，梯度压缩、量化和混合精度训练等等技术都应该用上。
4、batch_size应该尽可能大（BytePS实践中，通常用满GPU显存），以获得最好的并行效果，以及最小化训练时间。推荐LARS算法，batch_size可以到64k。（注：这里64k具体怎么运作的？不会把显存撑爆吗？）
我们还提出了一个容错的All Reduce算法，可以在不全部重启的情况下工作。最后，我们提及分布式训练未来的一些方向和启示。