创建个人网站怎么做,wordpress那个版本,阿里云的虚拟云主机搭建WordPress,所以免费爱做网站文章目录abstract1.introduction2.Model2.1 Transition System2.2 全局和局部归一化3.训练3.2标签偏差问题abstract 介绍了一种基于全局规范化转换的神经网络模型#xff0c;该模型实现了最先进的词性标注、依存分析和句子压缩结果。我们的模型是一个简单的前馈神经网络#…
文章目录abstract1.introduction2.Model2.1 Transition System2.2 全局和局部归一化3.训练3.2标签偏差问题abstract 介绍了一种基于全局规范化转换的神经网络模型该模型实现了最先进的词性标注、依存分析和句子压缩结果。我们的模型是一个简单的前馈神经网络它运行在一个特定于任务的转换系统上但与递归模型相比它的准确性更好。我们讨论了全局规范化相对于局部规范化的重要性:一个关键的观点是标签偏差问题意味着全局规范化模型可以比局部规范化模型更严格地表达。 基于全局规范化转换的神经网络模型前馈神经网络全局规范化模型可以解决标签偏差问题标签偏差问题标签不均衡造成的使得模型倾向于标注同一个标签/不考虑上下文的棱模两可的情况。 这个问题是在训练语料中a转移b的概率大于a转移到c的概率造成在进行测试时始终只能出现a到b状态。lstm_crf中也遇到过参考资料我加上了个tanh层就好了大概也类似于全局规范化的感觉。crf可以解决标签偏置问题但是貌似transition偏差过大的情况还是无法解决所以加个tanh收缩一下这种感觉大概
1.introduction
lstm很有效本文证明了全局最优化的前馈神经网络可以达到比lstm更好的效果本文model使用transition system (Nivre, 2006)和特性嵌入Chen and Manning (2014). 集束搜索CRF全局归一化梁推断beam inferenceearly updateslossCRF的loss反传反传时训练全部参数 全局好于局部 我们不使用任何递归式而是使用束搜索来维持多个假设并引入条件随机域(CRF)目标的全局归一化(Bottou et al. 1997;勒昆等1998;Lafferty等人2001;为了克服局部规范化模型所遭受的标签偏差问题。由于我们使用梁推断我们通过对梁中的元素求和来近似配分函数并使用早期的更新(Collins和Roark, 2004;周等2015)。我们基于这个近似全局归一化计算梯度并基于CRF损耗对所有神经网络参数进行完整的反向传播训练。 在第3节中我们将重新讨论标签偏差问题以及全局规范化模型比局部规范化模型更严格地表达的含义。前向功能可以部分地缓解这种差异但不能完全弥补这一点我们稍后再回来。为了实证地证明全局规范化的有效性我们评估了我们的模型在词性标注、语法依赖解析和句子压缩(第4节)方面的效果。特别是在《华尔街日报》(the Wall Street Journal)的依赖关系分析中我们获得了94.61%的未标记依赖评分这是有史以来发表得最好的一次。 正如在第5节中更详细地讨论的我们还优于以前用于基于神经网络转换的解析的结构化训练方法。我们的烧蚀实验表明我们的性能优于Weiss等人(2015)和Alberti等人(2015)因为我们对所有的模型参数进行了全局反向传播训练而他们在训练模型的全局部分时固定了神经网络参数。 我们也超过了Zhou等人(2015)尽管使用了更小的光束。为了进一步说明标签偏差问题我们提供了一个句子压缩的例子其中局部模型完全失败。然后我们演示了一个没有任何前向特性的全局规范化解析模型几乎与我们的最佳模型一样准确而局部规范化模型在准确性上损失了10%以上的绝对准确性因为它不能有效地合并可用的证据。 最后我们提供了一个名为SyntaxNet的方法的开源实现我们将其集成到流行的TensorFlow2框架中。我们还提供了一个预先培训的、最先进的英语依赖解析器名为“Parsey McParseface”我们对它进行了调优以平衡速度、简单性和准确性。 2.Model
我们的模型的核心是一个基于增量转换的解析器(Nivre, 2006)。要将其应用于不同的任务我们只需要调整转换系统和输入特性。
2.1 Transition System 2.2 全局和局部归一化 ZL是局部归一化用集束搜索来找上面最大化的解CRF:(全局归一化
3.训练 再用上beam-search和early-update
3.2标签偏差问题 直观地说我们希望该模型能够修改在搜索过程中做出的早期决策当稍后的证据可用时可以排除早期决策不正确的可能性。乍一看与波束搜索或精确搜索相结合使用的局部规范化模型似乎能够修改早期的决策。然而标签偏差问题(见Bottou (1991) Collins(1999)第222-226页Lafferty et al. (2001) Bottou and LeCun (2005) Smith and Johnson(2007))意味着局部规范化模型修改早期决策的能力非常弱。 本节通过证明全局规范化模型比局部规范化模型更严格地表达性给出了关于标签偏差问题的正式观点。这个定理最初是由史密斯和约翰逊(2007)提出的。 作为证据的这个例子清楚地说明了标签偏差问题 全局模型可以比局部模型更严格地表达考虑一个标记问题其中的任务是将输入序列x1:n映射到决策序列d1:n。首先考虑一个局部规范化模型在对决策di进行评分时我们将评分函数限制为仅访问第一个i输入符号x1:i。我们将很快回到这个限制。得分函数ρ否则会是一个元组的任意函数 标两种标签都可以的情况下局部归一化无法解决但是全局归一化可以考虑上下文得到正确答案。
