精品课程网站建设的背景及意义,网络公关团队,做网站的猫腻,增加浏览量的软件文 | Yimin_饭煲相信大多数学习过人工智能课程的读者#xff0c;当听到算法的时候#xff0c;都会有一种既熟悉又陌生的感觉。说算法熟悉#xff0c;是因为一听到这个算法#xff0c;就想起那本厚厚的《人工智能——一种现代的方法》#xff0c;想起这个算法似乎是人工智能… 文 | Yimin_饭煲相信大多数学习过人工智能课程的读者当听到算法的时候都会有一种既熟悉又陌生的感觉。说算法熟悉是因为一听到这个算法就想起那本厚厚的《人工智能——一种现代的方法》想起这个算法似乎是人工智能课程考试的重点说算法陌生是因为大家现在在从事人工智能相关的研究和开发工作时似乎又很少用到这个算法大部分时间都花在了研究数据处理和处理实验设置上面。而在NAACL2022上一群来自AI2的自然语言处理研究者们 利用算法开发了一种新的自然语言生成解码方式还被授予了NAACL2022 Best New Method paper。看起来已经过时的A*算法居然能在深度学习时代有如此的妙用看完这篇论文笔者情不自禁地打开了《人工智能——一种现代的方法》想看看还有什么经典算法可以深挖一下论文标题:NEUROLOGIC A*esque Decoding: Constrained Text Generation with Lookahead Heuristics论文链接:https://arxiv.org/pdf/2112.08726.pdf问题背景自然语言生成任务一般指给定一个输入序列生成一个输出序列。目的是解出使得目标函数最大化的序列其中, , 而衡量对约束条件的满足。传统的Beam Search不考虑全局的最优而是最优化当前步骤添加的Token.402 Payment Required为了达到全局最优的效果需要满足如下的优化目标主要方法前向启发算法直接优化全局最优目标面临着搜索空间过大的问题。而A算法可以被用来解决这个搜索问题。A算法是一个最优优先的搜索算法可以解决这样形式的搜索问题其中是迄今为止的分数是对于未来分数的启发式估计。因此我们将优化目标修改为如下形式同时需要限制前向搜索的长度为避免模型无限制地向前搜索402 Payment Required在前向生成的过程中有几种不同的方法。方法只生成一个序列从开始每次选择概率最大的Token 。方法采用插值的思想混合方法和随机选择一个Token的概率分布。方法从开始进行步的Beam Search选择前个概率最大的序列, 而方法则是直接从按照概率进行采样。无限制生成在无限制生成的场景下使用的优化函数为其中控制的是对未来估计的重视程度类似于加权算法受限制生成在受限制生成任务上作者们基于之前的工作NeuroLogic进行改进。首先我们简要介绍一下NeuroLogic方法。首先将对生成文本的限制表示为合取范式。其中每一个表示一个限制条件。NeuroLogic的优化目标可以写为其中远大于0用来惩罚不满足的约束。在每一步搜索时NeuroLogic利用如下的打分函数进行计算其中是约束条件的前缀这个优化函数的目标是奖励那些满足约束条件的样本。接下来作者们加入了前向启发函数402 Payment Required这样的前向启发函数有两个好处如果是满足多Token约束的一个Token前向启发函数包含了全部约束的分数如果不是约束的一部分如果被选中这一前向策略能考虑到未来约束的分数。实验结果无限制生成作者们在故事生成任务上开展了实验可以发现提出的方法不论是在流畅性丰富性还是人工评估上都有着很好的表现。受限制生成在受限制生成方面作者们在常识生成机器翻译表格到文本生成问题生成等任务上开展了实验。在这里展示常识生成方面的结果。这一任务的主要内容是给定一系列概念利用全部概念生成一个合理的句子.可以发现作者们提出的方法在多个指标上都明显超越了基线模型取得了很好的效果。从文章中给出的例子来看作者们提出的方法确实有着更好的生成效果。结语本文的方法实现并不复杂所用到的原理和思想也是非常经典的人工智能算法但却取得了非常不错的性能一举摘得了NAACL2022的最佳方法论文。看来好的研究并不是追逐热点调参魔改结构的增量式创新而是打好数学基础深入地思考研究问题广泛接触各个领域的算法才能在发现领域的关键待解决问题时取得成果~萌屋作者Yimin_饭煲在微软NLC组搬砖的联培博士生爱好摄影和运动希望卖萌屋早日开通视频业务我来当摄影师作品推荐学完文本知识我就直接看懂图片了别再Prompt了谷歌提出tuning新方法强力释放GPT-3潜力大模型炼丹无从下手谷歌、OpenAI烧了几百万刀总结出这些方法论…后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群
