如何规划设计一个网站,宜兴网站优化,新开河街做网站公司,wordpress 伪静态 .htaccess分布式训练本质上是为了加快模型的训练速度#xff0c;面对较为复杂的深度学习模型以及大量的数据。单机单GPU很难在有限的时间内达成模型的收敛。这时候就需要用到分布式训练。
分布式训练又分为模型并行和数据并行两大类。
1. 数据并行
数据并行在于将不同batch的数据分别…分布式训练本质上是为了加快模型的训练速度面对较为复杂的深度学习模型以及大量的数据。单机单GPU很难在有限的时间内达成模型的收敛。这时候就需要用到分布式训练。
分布式训练又分为模型并行和数据并行两大类。
1. 数据并行
数据并行在于将不同batch的数据分别交给不同的GPU来运算。如下图所示灰色部分表示数据蓝色表示模型。 数据并行中的一类就是参数平均比如将第一个Batch的256个数据交给第一个U 第二个batch的256个数据交给第二个U 参数平均就是在他们分别通过整个神经网络计算出结果后取平均值再修改模型中的参数。这样实现实际上在不考虑多GPU与CPU的通信成本上与单GPU以batchsize为512来进行训练是一样的但因为同时进行了两个batch的运算运算速度在理想情况下是线性增加的。参数平均同时也是一个同步更新的过程多个GPU的运算结果会统一结束并计算平均参数这在我们使用同算力GPU的时候可以做到效率最大化。
除了同步更新我们还有异步随机梯度下降。这意味着不同的GPU不需要等待每一个epoch中所有GPU的运算完毕就可以直接更新参数。这很显然进一步提升了多个U的效率因为我们不再需要保证多个GPU的同步性更大加快了模型的收敛。但不可避免地是由于异步的特点当某一个GPU完成运算并更新参数的时候可能这时候模型中的全局参数已经经过了多次的改变这可能会导致绝对误差的放大优化过程可能不稳定。
2. 模型并行
说完了数据并行我们来看一下专门用于优化非常复杂的深度学习网络的模型并行。与数据并行不同的是这次我们通过将模型拆分为几个小的部分分别交给多个GPU来进行运算。每次仍然给每个模型一个batch的数据来进行计算将多个GPU作为节点。最后将运算结果进行合并。实际上是一种将模型切割为几个子模型按顺序计算的过程。
参考文本 : 【深度学习】— 分布式训练常用技术简介 【分布式深度学习part1】:神经网络的分布式训练
