加强网站信息建设管理,成品短视频app下载有哪些破解版,帮公司做网站的外包公司,梁山网站开发AutoAugment:Learning Augmentation Strategies from Data
摘要
#x1f52c; 研究方法: 本文描述了一种名为AutoAugment的简单程序#xff0c;通过这个程序可以自动寻找改进的数据增强策略。研究设计了一个策略空间#xff0c;其中策略包含多个子策略#xff0c;在每个小…AutoAugment:Learning Augmentation Strategies from Data
摘要 研究方法: 本文描述了一种名为AutoAugment的简单程序通过这个程序可以自动寻找改进的数据增强策略。研究设计了一个策略空间其中策略包含多个子策略在每个小批量数据中针对每张图片随机选择一个子策略。每个子策略由两个操作组成每个操作是图像处理函数如平移、旋转或剪切以及应用这些函数的概率和强度。作者使用搜索算法寻找最佳策略以便在目标数据集上获得神经网络的最高验证准确度。 结果和发现: 该方法在CIFAR-10、CIFAR-100、SVHN和ImageNet数据集上达到了最先进的准确度且无需额外数据。在ImageNet上Top-1准确率达到了83.5%比先前的纪录高出0.4%。在CIFAR-10上错误率降低到1.5%比之前的最佳成绩低0.6%。此外发现的增强策略在不同数据集之间是可迁移的例如在ImageNet学习到的策略可以很好地迁移到其他数据集上并取得显著改进如Oxford Flowers, Caltech-101, Oxford-IIT Pets, FGVC Aircraft, 和 Stanford Cars。 对比学习/时序数据/信号处理分类对此研究的影响: 这项研究不专门涉及对比学习、时序数据或信号处理分类而是关注自动化搜索数据增强策略来提高图像分类器的准确性。不过找到的最优数据增强策略对于提高这些领域内神经网络模型的性能也可能有借鉴意义。
Introduction 这段内容介绍了深度神经网络在处理大量数据时的强大性能以及数据增强作为提高数据量和多样性的有效技术。数据增强通过随机方式增加数据的变化常见于图像领域例如通过平移几个像素或水平翻转图像。直观上数据增强是用来教导模型识别数据域中的不变性例如对象的分类常常对水平翻转或平移不敏感。网络架构也可以用来固化不变性例如卷积网络内置了平移不变性。然而使用数据增强来纳入潜在的不变性可能比直接在模型架构中硬编码这些不变性来得更加简单。这意味着通过数据增强我们可以更灵活地扩充模型对不同变化的适应性而不必对网络架构进行复杂的定制。 这段内容扩展了之前关于数据增强的讨论指出机器学习和计算机视觉社区的主要关注点之一是改进网络架构而寻找能够纳入更多不变性的更好的数据增强方法却没有得到足够的重视。例如在ImageNet上自2012年引入的数据增强方法至今仍然是标准做法仅有细微的变化。即使在特定数据集上找到了增强改进它们也往往无法有效地迁移到其他数据集上。 本文的目标是自动化寻找目标数据集有效的数据增强策略的过程。具体来说每个策略表达了多种可能的增强操作的选择和顺序每个操作是一个图像处理功能例如平移、旋转或颜色标准化以及应用该功能的概率和强度。研究者们使用搜索算法来找到最佳的操作选择和顺序以便训练出在验证精度上最好的神经网络。在实验中使用了强化学习作为搜索算法但作者相信如果使用更好的算法结果可以进一步改进。 实验表明AutoAugment 在以下两种情况下取得了优秀的效果1) 直接在感兴趣的数据集上应用 AutoAugment 来发现最佳的增强策略AutoAugment-direct2) 学到的策略可以迁移到新的数据集上AutoAugment-transfer。首先就直接应用而言该方法在 CIFAR-10、简化版 CIFAR-10、CIFAR-100、SVHN、简化版 SVHN 和 ImageNet无额外数据等数据集上实现了最先进的准确率。例如在 CIFAR-10 上错误率降至1.5%比之前最先进的成绩低了0.6%。在 SVHN 上将最先进的错误率从1.3%降低到1.0%。在简化的数据集上该方法实现了与半监督方法相媲美的性能而无需任何未标记数据。在 ImageNet 上Top-1 准确率提高到了83.5%比之前的纪录高0.4%。其次如果直接应用代价过高则转移增强策略可以是一个很好的替代方案。在转移增强策略方面我们展示了在一个任务上发现的策略可以很好地推广到不同的模型和数据集。例如在 ImageNet 上发现的策略在多个 FGVC 数据集上取得了显著的改进。即使在对于 ImageNet 预训练权重微调没有明显帮助的数据集上[26]如 Stanford Cars [27]和 FGVC Aircraft [38]使用 ImageNet 策略训练将测试集误差分别降低了1.2%和1.8%。这一结果表明转移数据增强策略提供了一种与标准权重转移学习不同的方法。论文的第一部分的表1中总结了结果。
2. Related Work 这一段强调了传统的图像识别领域中数据增强方法很多都是手工设计的并且最佳的数据增强策略是特定于数据集的。比如在MNIST数据集中许多排名靠前的模型使用了弹性变形、缩放、平移和旋转这些增强方法。而在自然图像数据集如CIFAR-10和ImageNet更常使用随机裁剪、图像镜像和颜色变换/白化等方法。由于这些方法是手工设计的所以需要专家知识和时间成本。而作者提出的从数据中学习数据增强策略的方法理论上可以用于任何数据集而不仅仅是一个特定的数据集。这表明作者旨在提出一种更加普适和自动化的数据增强方法不再依赖于专家先验知识和大量的手动实验。 本段内容介绍了一种自动化的方法来从数据中找到数据增强策略。灵感来自于最近在架构搜索领域的进步其中利用了强化学习和进化方法从数据中发现模型架构。尽管这些方法改进了人工设计的架构使用架构搜索单独并未能突破CIFAR-10上2%的错误率屏障。 之前学习数据增强的尝试包括Smart Augmentation它提出了一个自动通过合并同一类别的两个或更多样本来生成增强数据的网络。Tran等人使用了基于从训练集学到的分布生成数据的贝叶斯方法。DeVries和Taylor在学到的特征空间中使用简单变换来增强数据。 生成对抗网络GAN也被用于生成额外的数据。我们的方法与生成模型的主要区别在于我们的方法生成的是符号变换操作而生成模型如GAN直接生成增强的数据。Ratner等人的研究则是个例外他们使用GAN来生成描述数据增强策略的序列。
3. AutoAugment: Searching for best Augmentation policies Directly on the Dataset of Interest 此段落阐述了研究者如何将寻找最佳数据增强策略的问题形式化为一个离散搜索问题并概述了他们的方法包含两个组件一个搜索算法和一个搜索空间。简而言之搜索算法实现为控制器RNN会抽取一个数据增强策略S该策略包含了关于使用哪种图像处理操作、每批使用该操作的概率以及该操作的幅度的信息。该方法的关键在于策略S将被用来训练一个固定架构的神经网络其验证精度R将反馈给控制器以便更新。由于R不是可微的控制器将通过策略梯度方法更新。以下部分将详细描述这两个组件。 搜索空间细节在他们的搜索空间中一项策略包括5个子策略每个子策略由两个顺序应用的图像操作组成。另外每个操作还关联有两个超参数1应用操作的概率和2操作的幅度。这样的方法结构赋予了模型以自动发现能产生最佳验证精度的数据增强操作和其参数设置的能力 这段文本描述了图2中搜索空间里的一个策略示例该策略包含5个子策略。第一个子策略指定了按顺序应用ShearX和Invert操作。应用ShearX的概率为0.9并且一旦应用它的幅度为7/10。然后以0.8的概率应用Invert操作。Invert操作不使用幅度信息。需要强调的是这些操作是按照指定的顺序应用的。这一描述突出了该方法如何在遍历搜索空间时结合不同的图像处理操作并赋予它们特定的应用概率和幅度以形成能够有效提升网络性能的数据增强策略。 这段内容描述了实验中使用的图像操作和增强技术这些操作源自流行的Python图像库PIL。为了通用性作者考虑了PIL中所有接受图像作为输入并输出图像的函数。他们还使用了另外两种有前景的增强技术Cutout和SamplePairing。他们搜索的操作包括ShearX/Y剪切TranslateX/Y平移Rotate旋转AutoContrast自动对比度Invert反转Equalize均衡化Solarize曝光Posterize色调分离Contrast对比度Color颜色Brightness亮度Sharpness锐度Cutout和Sample Pairing。总共有16种操作在搜索空间中。 每种操作都有一个默认的幅度范围这将在第4节更详细地描述。为了能够使用离散搜索算法找到这些幅度作者将幅度的范围离散化为10个值均匀间距。类似地应用某个操作的概率也被离散化为11个值均匀间距。因此寻找每个子策略成为一个在(16×10×11)^2种可能性的搜索问题。 作者的目标是同时找到5个这样的子策略以增加多样性。带有5个子策略的搜索空间大约有(16×10×11)^10 ≈ 2.9×10^32种可能性。这表明了一个非常广泛的搜索空间需要一个有效的搜索算法来探索这一空间并找到最佳的数据增强组合。 这段内容详细描述了实验中使用的搜索算法。该算法使用了强化学习其灵感来源于文献[71, 4, 72, 5]。搜索算法由两部分组成控制器一个递归神经网络和训练算法近端策略优化算法Proximal Policy Optimization algorithm [53]。 在每一步中控制器通过一个softmax预测一个决策然后将该预测作为嵌入输入到下一个步骤中。为了预测5个子策略控制器总共需要30个softmax预测每个子策略有2个操作并且每个操作需要指定操作类型、幅度和概率。 控制器RNN的训练控制器通过奖励信号来训练此信号反应了策略在提高一个“子模型”作为搜索过程的一部分被训练的神经网络泛化能力方面的效果如何。在实验中研究者设置了一个验证集来衡量子模型的泛化能力。子模型通过应用在训练集上的5个子策略来生成增强数据被训练不包含验证集。对于小批量中的每个例子随机选择5个子策略中的一个来增强图像。然后在验证集上评估子模型以测量准确性该准确性用作奖励信号来训练递归网络控制器。在每个数据集上控制器大约采样15,000个策略。 控制器RNN的架构和训练超参数我们按照文献[72]中的训练程序和超参数来训练控制器。更具体来说控制器RNN是一个单层的长短期记忆网络LSTM [21]在每一层有100个隐藏单元并且对于两个卷积单元通常B为5的每个架构决策有2×5B个softmax预测。控制器RNN的这10B个预测中的每一个都与一个概率相关联。子网络的联合概率是这些10B个softmax处所有概率的乘积。这个联合概率用来计算控制器RNN的梯度。梯度通过子网络的验证集准确性来调整以便使控制器为表现不佳的子网络分配低概率为表现优异的子网络分配高概率。 与文献[72]类似我们使用近端策略优化PPO[53]作为训练算法学习率为0.00035。为了鼓励探索我们还使用了一个权重为0.00001的熵惩罚。在我们的实现中基准函数是前面奖励的指数移动平均权重为0.95。控制器的权重在-0.1和0.1之间均匀初始化。我们选择使用PPO来训练控制器是出于方便尽管先前的研究已经表明其他方法例如增强随机搜索和进化策略也能表现得同样好甚至更好[30]。 在搜索结束时我们将最佳5个策略中的子策略连接成一个单一策略包含25个子策略。这个具有25个子策略的最终策略用于训练每个数据集的模型。 上述搜索算法只是我们可以用来找到最佳策略的许多可能搜索算法之一。使用其他不同的离散搜索算法比如基因编程[48]或者甚至随机搜索[6]也可能改善本文的结果。
