上海建设房屋网站,成都兴光华城市建设公司网站,徐州教育平台网站建设,微信小程序的开发环境摘要#xff1a; 这里有改变世界的7大NLP技术#xff0c;点进来了解一下吧#xff01;
改变世界的七大NLP技术#xff0c;你了解多少#xff1f;#xff08;上#xff09; 在第1部分中#xff0c;我介绍了自然语言处理#xff08;NLP#xff09;领域以及为其提供支持…摘要 这里有改变世界的7大NLP技术点进来了解一下吧
改变世界的七大NLP技术你了解多少上 在第1部分中我介绍了自然语言处理NLP领域以及为其提供支持的深度学习。我还介绍了NLP中的3个关键概念文本嵌入字符串的矢量表示机器翻译使用神经网络翻译语言以及Dialogue和Conversations可以实时与人进行对话的技术。在第2部分中我将介绍另外4项重要的NLP技术你应该关注这些技术以跟上这一研究领域快速增长的步伐。
技术4情绪分析
人际交往不仅仅是文字和其明确的含义而且它还是微妙且复杂的。即使在完全基于文本的对话中你也可以根据单词选择和标点符号判断客户是否感到愤怒。你可以阅读产品在天猫平台的评论并了解评论者是否喜欢或不喜欢它即使他们从未直接说过。为了使计算机真正理解人类每天的交流方式他们需要理解的不仅仅是客观意义上的词语定义、而且他们需要了解我们的情绪。情绪分析是通过较小元素的语义组成来解释较大文本单元实体、描述性术语、事实、论据、故事的含义的过程。
传统情感分析的方法是将句子视为一个词袋并查阅“积极”和“消极”单词的策划列表以确定该句子的情绪。这需要手工设计的特征来捕捉情绪所有这是非常耗时和不可扩展的。
用于情感分析的现代深度学习方法可用于形态学、语法和逻辑语义其中最有效的是递归神经网络。顾名思义递归神经网络开发的主要假设递归是描述语言的自然方式。递归在消歧方面很有用有助于某些任务引用特定的短语并且对于使用语法树结构的任务非常有效。 递归神经网络非常适合具有嵌套层次结构和内部递归结构的设置。语法的句法规则是高度递归的因此我们利用递归神经网络使用RNN对句子进行建模的另一个好处是我们现在可以输入任意长度的句子这对于在NLP中使用神经网络来说是一个巨大的难题使用非常聪明的技巧使句子的输入向量具有相同的大小尽管句子的长度不相等。 标准RNN是一种递归神经网络的最基本的版本。它具有最大边距结构预测架构可以在复杂的场景图像和句子中成功地运用这种结构。它用于为自然语言句子提供有竞争力的语法分析器比如说Penn Treebank。作为参考Penn Treebank是第一个大型树形数据集由华尔街日报三年WSJ收集的24,799个故事组成它广泛用于句法注释。此外它优于语义场景分割、注释和分类的替代方法。
然而标准RNN并不能捕获语法短语的完整语法。在语法上解开RNN也被称为成分矢量语法CVG这个方法是解决这个问题的一个重大升级。它使用语法解开的递归神经网络来学习句法语义和组合向量表示。该模型能够像标准RNN一样快速地进行训练和实施。 另一个演变是Matrix-Vector RNN它能够捕获更长短语的组成含义。该模型为解析树中的每个节点分配一个向量和一个矩阵向量用于捕获成分的固有含义而矩阵捕获它如何改变相邻单词或短语的含义。而且该矩阵向量RNN可以在命题逻辑和自然语言中学习运算符的含义。
该模型在三个不同的实验中获得过不错的表示
·预测副词-形容词对的细粒度情感分布
·对电影评论的情感标签进行分类
·使用它们之间的句法路径对名词之间的语义关系例如因果关系进行分类。 迄今为止用于情感分析的最强大的RNN模型是递归神经张量网络其在每个节点处具有神经网络的树结构。该模型可用于边界分割以确定哪些词组是积极的哪些是消极的。在Sentiment Treebank上接受训练时该模型在几个指标上的表现优于所有以前的方法。
技术5问答系统
问答QA系统的想法是直接从文档、对话、在线搜索和其他地方提取信息以满足用户的信息需求。QA系统不是让用户阅读整个文档而是更喜欢简短而简洁的答案。如今QA系统可以非常容易地与其他NLP系统结合使用并且一些QA系统甚至超越了对文本文档的搜索并且可以从图片集合中提取信息。
事实上大多数NLP问题都可以被视为一个问题回答问题。范例很简单我们发出查询指令机器提供响应。通过阅读文档或一组指令智能系统应该能够回答各种各样的问题。 强大的深度学习架构称为动态内存网络DMN已针对QA问题进行了专门开发和优化。给定输入序列知识和问题的训练集它可以形成情节记忆并使用它们来产生相关答案。该体系结构具有以下组件
·语义内存模块类似于知识库被用来创建从输入句子的嵌入字序列预先训练手套载体。
·输入模块处理与问题有关的输入矢量称为事实。该模块使用门控循环单元实现GRU使网络能够了解当前正在考虑的句子是否相关或与答案无关。
·问题模块逐字处理疑问词并且使用输出相同权重的GRU输入模块的向量。事实和问题都被编码为嵌入。
·情景记忆模块接收从输入中提取和编码的嵌入事实和问题载体。这使用了一个受大脑海马体启发的想法它可以检索由某些反应触发的时间状态如景点或声音。
·答案生成模块通过适当的响应情景记忆应该包含回答问题所需的所有信息。该模块使用另一个GRU使用正确序列的交叉熵错误分类进行训练然后可以将其转换回自然语言。 DMN不仅在质量保证方面做得非常好而且在情感分析和词性标注方面也优于其他架构。自开发以来动态内存网络已经有了重大改进进一步提高其在问答环境中的准确性包括
·用于视觉和文本问题的动态存储网络问答应用基本上是将DMN应用于图像其内存和输入模块已升级以便能够回答视觉问题。该模型改进了许多基准Visual Question Answering数据集的现有技术水平而不支持事实监督。
·用于问题应答的动态Coattention网络解决了从对应于不正确答案的局部最大值恢复的问题。它首先融合了问题和文件的共同依赖表示以便集中于两 者的相关部分。然后动态指向解码器迭代潜在的答案跨度该迭代过程使模型能够从对应于不正确答案的初始局部最大值中恢复。
技术6文本摘要
人类很难手动汇总大型文本文档。文本摘要是NLP为源文档创建简短、准确和流畅的摘要问题。随着推送通知和文章摘要获得越来越多的注意力为长文本生成智能且准确摘要的任务每天都在增长。
通过首先计算整个文本文档的单词频率来自动汇总文本。然后存储和排序100个最常用的单词。然后根据它包含的高频词数对每个句子进行评分更高频率的词价值更大。最后根据它们在原始文本中的位置来获取和排序前X个句子。 文本摘要有两种基本方法提取和抽象。前者从原始文本中提取单词和单词短语以创建摘要。后者是学习内部语言表示以生成更像人类的摘要解释原始文本的意图。
提取摘要的方法是通过选择子集来工作。这是通过从实际文章中提取短语或句子以形成摘要来完成的LexRank和TextRank是众所周知的摘要总结它们都使用了Google PageRank算法的变体。
·LexRank是一种无监督的基于图形的算法它使用IDF修改的余弦作为两个句子之间的相似性度量。该相似度用作两个句子之间的图形边缘的权重。LexRank还采用了智能后处理步骤确保为摘要选择的顶级句子彼此不太相似。
·TextRank是一种类似于LexRank的算法具有一些增强功能例如使用词形化而不是词干结合词性标注和命名实体分辨率从文章中提取关键短语以及根据这些短语提取摘要句子。除了文章摘要外TextRank还从文章中提取了有意义的关键短语。
抽象概括的模型属于深度学习。使用深度学习的文本摘要已经取得了一定的突破。以下是一些NLP领域最大公司最显着的公布结果
·Facebook的神经注意是一种神经网络架构它利用基于本地注意力的模型能够根据输入句子生成摘要中的每个单词。
·Google Brain的Sequence-to-Sequence模型遵循编码器-解码器架构。编码器负责读取源文档并将其编码为内部表示解码器是一种语言模型负责使用源文档的编码表示在输出摘要中生成每个单词。
·IBM Watson使用类似的序列到序列模型但具有注意力和双向递归神经网络功能。
技术7注意力机制
神经网络中的注意力机制是基于人类的视觉注意机制。人类的视觉注意力虽然存在不同的模型但它们都基本上归结为能够以“高分辨率”聚焦于图像的某个区域同时以“低分辨率”感知周围的图像然后随着时间的推移调整焦点。
想象一下你正在阅读一篇完整的文章不是按顺序浏览每个单词或字符而是潜意识地关注一些信息密度最高的句子并过滤掉其余部分。你的注意力有效地以分层方式捕获上下文信息这样就可以在减少开销的同时做出决策。
那为什么这很重要诸如LSTM和GRU之类的模型依赖于读取完整的句子并将所有信息压缩为固定长度的矢量。这需要基于文本统计属性的复杂特征工程用几个单词表示的数百个单词的句子肯定会导致信息丢失翻译不足等。 通过注意力机制我们不再尝试将全文编码为固定长度的矢量。相反我们允许解码器在输出生成的每个步骤处理源语句的不同部分。我们让模型根据输入句子以及它到目前为止产生的内容来学习要注意的内容。
根据上面从基于注意力的神经机器翻译的有效方法的图像蓝色表示编码器红色表示解码器因此我们可以看到上下文向量将所有单元格的输出作为输入来计算每个单元格的源语言单词的概率分布。解码器想要生成单个字通过利用该机制解码器可以捕获全局信息而不是仅基于一个隐藏状态进行推断。
除了机器翻译之外注意力模型还可以处理各种其他NLP任务。在ShowAttend和Tell使用视觉注意生成神经图像标题作者将注意力机制应用于生成图像描述的问题。他们使用卷积神经网络对图像进行编码使用具有注意力机制的递归神经网络来生成描述。通过可视化注意力他们可以在生成单词时解释模型正在查看的内容 在语法作为外语中作者使用具有注意力机制的递归神经网络来生成句子解析的树。可视化的注意力矩阵可以深入了解网络如何生成这些树 在阅读和理解的教学机器中作者使用回归神经网络来阅读文本阅读问题然后产生答案。通过可视化关注矩阵它们可以在尝试查找问题答案时显示网络的外观 然而注意力机制需要付出代价。我们需要计算输入和输出字的每个组合的注意力值。如果你有一个100字的输入序列并生成一个100字的输出序列那将是10,000个注意力值。如果你进行字符级计算并处理由数百个令牌组成的序列上述机制可能变得非常昂贵。
自然语言处理已经解决的障碍
值得注意的是研究人员不得不处理各种障碍算法的局限性、模型的可扩展性、对人类语言的模糊理解。好消息是这个领域的发展似乎是一个巨大的开源项目研究人员不断构建更好的模型来解决现有问题并与社区分享他们的结果。由于最近的学术研究进展以下是NLP中已经解决的主要障碍
·没有单一的模型架构跨任务具有一致的最新结果。例如在Question Answering中我们有强监督的端到端内存网络 ; 在情感分析中我们有Tree-LSTM ; 在序列标记中我们有双向LSTM-CRF。我之前在问题回答部分中提到的动态内存网络以某种方式解决了这一挑战因为它可以在多个域中一致地运行。
·机器学习中一种强大的方法是多任务学习它共享相关任务之间的表示以使模型能够更好地概括原始任务。然而相关的多任务学习很难因为它通常仅限于较低层仅在任务相关时才有用并且在所提出的模型中具有相同的解码器/分类器。在联合多任务模型中为多个NLP任务增长作者预先定义了一个由几个NLP任务组成的分层架构作为多任务学习的联合模型。该模型包括字符n-gram和短路以及最先进的纯前馈解析器能够执行依赖解析多句子任务和联合训练。
·另一个挑战是重复字表示的问题其中模型中编码器和解码器的不同编码导致重复的参数/含义。对此最简单的解决方案是将单词向量联系在一起并联合训练单个权重如“绑定单词向量” 和“单词分类器语言建模的损失框架”中所示。
·另一个障碍是与诸如卷积神经网络或前馈神经网络相比任何Deep NLP技术的基本构建块Recurrent Neural Networks相当慢。准递归神经网络采用RNN和CNN的最佳部分来提高训练速度使用卷积跨越时间的并行性和跨越信道的并行性的元素级门控递归。这种方法比语言建模和情感分析中的任何其他模型更好更快。
·最后在NLP中架构搜索使用机器学习自动化人工神经网络设计的过程 非常缓慢因为传统的手动过程需要大量的专业知识。如果我们可以使用AI为任何问题找到合适的架构怎么办使用Google Brain进行强化学习的神经架构搜索是迄今为止开发的最可行的解决方案。作者使用循环网络生成神经网络的模型描述并使用强化学习训练此RNN以最大化验证集上生成的体系结构的预期准确性。
结论
本系列文章展示了主要的自然语言处理技术的基本概要这些技术可以帮助计算机从单个文本或文本序列中提取分析和理解有用的信息。从跨文化连接人的机器翻译到帮助客户服务的对话聊天机器人; 从深刻理解人类情绪的情感分析到可以模仿我们视觉注意力的注意力机制。因为NLP的领域过于庞大可能我并没有完全介绍所以我鼓励你进一步探索无论是通过在线课程博客教程或研究论文。
原文链接
本文为云栖社区原创内容未经允许不得转载。
