高端型网站制作,古交做网站,互联网站建设维护,丰镇市网站丰镇高铁在哪个位置建设来自蜂口知道公众号
随机梯度下降法是一种具有大量超参数的学习算法。通常会使初学者感到困惑的两个超参数: Batch大小和Epoch数量,它们都是整数值#xff0c;看起来做的事情是一样的。在这篇文章中#xff0c;您将发现随机梯度下降中Batch和Epoch之间的差异。
阅读这篇文章…来自蜂口知道公众号
随机梯度下降法是一种具有大量超参数的学习算法。通常会使初学者感到困惑的两个超参数: Batch大小和Epoch数量,它们都是整数值看起来做的事情是一样的。在这篇文章中您将发现随机梯度下降中Batch和Epoch之间的差异。
阅读这篇文章后你会知道
· 随机梯度下降是一种迭代学习算法它使用训练数据集来更新模型。
· 批量大小是梯度下降的超参数在模型的内部参数更新之前控制训练样本的数量。
· Epoch数是梯度下降的超参数其控制通过训练数据集的完整传递的数量。
Batch
Batch大小是一个超参数用于定义在更新内部模型参数之前要处理的样本数。将批处理视为循环迭代一个或多个样本并进行预测。在批处理结束时将预测与预期输出变量进行比较并计算误差。从该错误中更新算法用于改进模型例如沿误差梯度向下移动。训练数据集可以分为一个或多个Batch。当所有训练样本用于创建一个Batch时学习算法称为批量梯度下降。当批量是一个样本的大小时学习算法称为随机梯度下降。当批量大小超过一个样本且小于训练数据集的大小时学习算法称为小批量梯度下降。
· 批量梯度下降。批量大小训练集的大小
· 随机梯度下降。批量大小 1
· 小批量梯度下降。1 批量大小训练集的大小
在小批量梯度下降的情况下流行的批量大小包括32,64和128个样本。您可能会在文献和教程中看到这些值在模型中使用。
如果数据集没有按批量大小均匀分配怎么办
在训练模型时经常会发生这种情况。它只是意味着最终批次的样品数量少于其他批次。或者您可以从数据集中删除一些样本或更改批处理大小以便数据集中的样本数按批次大小均匀划分。
Epoch
Epoch数是一个超参数它定义了学习算法在整个训练数据集中的工作次数。一个Epoch意味着训练数据集中的每个样本都有机会更新内部模型参数。Epoch由一个或多个Batch组成。例如如上所述具有一批的Epoch称为批量梯度下降学习算法。您可以将for循环放在每个需要遍历训练数据集的epoch上在这个for循环中是另一个嵌套的for循环它遍历每批样本其中一个批次具有指定的“批量大小”样本数。 epochs 数量传统上很大通常是数百或数千允许学习算法运行直到模型的误差被充分地最小化了。您可能会看到文献和教程设置为10,100,500,1000和更大的时期数量的示例。通常创建线图其显示沿x轴的时间以及模型在y轴上的误差或技能。这些图有时被称为学习曲线。这些图可以帮助诊断模型是否已经过度学习学习不足或者是否适合训练数据集。
Batch和Epoch有什么区别
Batch大小是在更新模型之前处理的多个样本。Epoch数是通过训练数据集的完整传递次数。批处理的大小必须大于或等于1且小于或等于训练数据集中的样本数。可以将epoch设置为1和无穷大之间的整数值。您可以根据需要运行算法甚至可以使用除固定数量的epoch之外的其他条件来停止算法例如模型错误随时间的变化或缺少变化。它们都是整数值并且它们都是学习算法的超参数例如学习过程的参数而不是学习过程找到的内部模型参数。您必须为学习算法指定batch大小和epoch数。如何配置这些参数没有固定的规则。您必须尝试不同的值看看哪种方法最适合您的问题。
实例
最后让我们用一个小例子来说明这一点。
假设您有一个包含200个样本数据行的数据集并且您选择的Batch大小为5和1,000个Epoch。
这意味着数据集将分为40个Batch每个Batch有5个样本。每批五个样品后模型权重将更新。
这也意味着一个epoch将涉及40个Batch或40个模型更新。
有1000个Epoch模型将暴露或传递整个数据集1,000次。在整个培训过程中总共有40,000Batch。
