网站代理什么意思,做网站需要接口么,服装设计资源网站,网页升级访问未成年自觉离开作者#xff1a;Ravish Chawla编译#xff1a;ronghuaiyang导读一个简单明了的对条件随机场的说明#xff0c;给大家一个非常直观的印象#xff0c;CRF到底是个什么东西#xff0c;能干什么用。条件随机场是一种用于序列预测的判别模型。它们使用来自以前标签的上下文信息…作者Ravish Chawla编译ronghuaiyang导读一个简单明了的对条件随机场的说明给大家一个非常直观的印象CRF到底是个什么东西能干什么用。条件随机场是一种用于序列预测的判别模型。它们使用来自以前标签的上下文信息从而增加了模型做出良好预测的信息量。在这篇文章中我将讨论一些介绍CRFs的主题。先给大家过一遍什么是判别分类器(以及它们与生成分类器的比较)条件随机场的数学概述条件随机场与隐马尔可夫模型有何不同条件随机场的应用什么是判别分类器机器学习模型有两种常见的类别生成模型和判别模型。条件随机场是一种判别分类器它对不同类别之间的决策边界进行建模。另一方面生成模型是对数据如何生成进行建模这些模型在学习之后可以用来进行分类。举个简单的例子朴素贝叶斯是一种非常简单和流行的概率分类器是一种生成模型而逻辑回归是一种基于最大似然估计的分类器是一种判别模型。让我们看看这些模型如何用来计算标签预测朴素贝叶斯分类器是基于朴素贝叶斯算法的分类器它的描述如下朴素贝叶斯算法我们可以把分类器做出的预测表示为一个条件概率我们使用朴素贝叶斯算法进行分解朴素贝叶斯算法的推导Logistic回归分类器是基于Logistic函数即Logistic函数为了在Logistic回归中学习两个类之间的决策边界分类器学习与每个数据点相关的权值(Theta值)表示为Logistic回归分类器的推导利用Logistic回归分类器我们可以看到我们在最大化条件概率利用贝叶斯规则我们可以得到朴素贝叶斯分类器所使用的生成分类器。将P(y | x)代入贝叶斯方程把贝叶斯法则用到Logistic回归分类器中把它等价于先验和似然性的乘积因为在argmax中分母P(x)不提供任何信息。该结果是较早得到的朴素贝叶斯算法生成分类器。我们进一步可以看到P(x | y) * P(y)等于P(x, y)这是x和y的联合分布这一观察结果支持了生成模型的早期定义。通过对类与类之间的联合概率分布建模生成模型可以得到给定标签Y和联合概率分布并“生成”输入点X。同样判别模型通过学习条件概率分布学习了数据点之间的决策边界。所以给定一个输入点它可以使用条件概率分布来计算它的类。这些定义如何应用于条件随机场条件随机场是一种判别模型其基本原理是对序列输入应用逻辑回归。如果你熟悉隐马尔可夫模型你会发现它们与CRFs有一些相似之处其中之一是它们也用于序列输入。HMMs利用过渡矩阵和输入向量来学习发射矩阵在概念上与朴素贝叶斯相似。HMMs是一个生成模型。条件随机场的数学介绍在讨论了上述定义之后我们现在将讨论条件随机场以及如何使用它们来学习序列数据。如前一节所示我们对条件分布建模如下:条件分布在CRFs中我们的输入数据是顺序的在对数据点进行预测时必须考虑前面的上下文。为了对这种行为进行建模我们将使用特征函数它将有多个输入值为输入向量集合X我们预测的数据点的位置iX中数据点i-1的标签X中数据点i的标签我们将特征函数定义为:特征函数特征函数的目的是表示数据点所表示的序列的某种特征。例如如果我们将CRFs用于词性标注则f (X, i, L{i - 1}, L{i} ) 1 如果 L{i - 1}是名词并且 L{i} 是动词. 0 其他。同样, f (X, i, L{i - 1}, L{i} ) 1 如果 L{i - 1} 是动词并且 L{i} 是副词. 0 其他。每个特征函数都基于前一个单词和当前单词的标签并且要么是0要么是1。为了构建条件场我们接下来为每个特征函数分配一组权重(lambda值)算法将学习这些权重条件随机场的概率分布为了估计参数(lambda)我们使用最大似然估计。为了应用该技术我们首先对分布取负对数使偏导数更容易计算:条件随机分布的负对数似然要对负对数函数应用最大似然我们将使用argmin(因为最小化负函数将产生最大似然性)。为了求最小值我们可以求导得到:对lamda求偏导我们把求偏导数作为梯度下降的一个步骤。梯度下降迭代更新参数值每次一小步直到值收敛。CRF的最终梯度下降更新方程为:CRF的梯度下降更新方程总结一下我们使用条件随机场首先定义所需的特征函数初始化随机值的权重然后迭代地应用梯度下降直到参数值(在本例中是lambda)收敛。我们可以看到CRFs类似于Logistic回归因为它们使用条件概率分布但是我们通过将特征函数作为序列输入来扩展算法。CRFs和HMM有什么不同从前面几节中条件随机场与隐马尔可夫模型的区别是显而易见的。虽然这两种方法都用于对顺序数据建模但它们是不同的算法。隐马尔可夫模型具有生成性通过对联合概率分布建模给出了输出。另一方面条件随机场具有判别性并对条件概率分布进行了建模。CRFs不依赖于独立假设(即标签彼此独立)并且避免了标签偏差。一种理解它的方法是隐马尔可夫模型是条件随机场的一个非常特殊的例子转移概率使用了常数。HMMs基于朴素贝叶斯我们说它可以从逻辑回归得到CRFs就是从逻辑回归得到的。条件随机场的应用由于CRFs具有对顺序数据建模的能力因此通常会在自然语言处理中使用CRFs并且在该领域有许多应用。我们讨论的其中一个应用是词性标记。句子的词性依靠以前的单词并利用特征函数利用这一点我们可以学习如何区分句子中的哪个单词对应哪个POS。另一个类似的应用是命名实体识别或从句子中提取专有名词。条件随机场可以用来预测任意序列中多个变量相互依赖的情况。其他应用包括图像中的局部区域识别和基因预测。英文原文https://medium.com/ml2vec/overview-of-conditional-random-fields-68a2a20fa541请长按或扫描二维码关注本公众号
