杭州cms建站模板,百度百科分类方法,音乐网站后台管理模板,网站开发的实验心德文章目录 自然语言处理应用任务1. 信息抽取2. 情感分析3. 问答系统4. 机器翻译5. 对话系统 自然语言处理应用任务
1. 信息抽取
信息抽取#xff08;Information Extraction, IE#xff09;#xff0c;是从非结构化的文本中#xff0c;抽取出结构化信息的过程#xff0c;… 文章目录 自然语言处理应用任务1. 信息抽取2. 情感分析3. 问答系统4. 机器翻译5. 对话系统 自然语言处理应用任务
1. 信息抽取
信息抽取Information Extraction, IE是从非结构化的文本中抽取出结构化信息的过程通常包含以下这些子任务 下面举一个例子来说明这些子任务分别是干什么的以及它们之间的差别是什么。 不同信息抽取子任务抽取的结果如下方表格所示
信息抽取子任务抽取结果命名实体识别公司名AMD公司名赛灵思关系抽取赛灵思 ⇒ 从属于 \xRightarrow{\text{从属于}} 从属于 AMD时间表达式抽取10月28日时间表达式归一化10月28日 → \xrightarrow{} 2020年10月28日事件抽取事件收购时间2020年10月28日收购者AMD被收购者赛灵思被收购金额350亿美元
命名实体识别可以实现从文本中抽取出子串“AMD”和“赛灵思”并标注出它们的类型均为“公司名”。关系抽取在命名实体识别的基础上进一步挖掘不同实体之间的关系在本文中可以挖掘出AMD和赛灵思的关系为母公司和子公司的关系。时间表达式抽取可以抽取出原文中的日期和时间本文中就是10月28日。时间表达式归一化是为了使时间表达式抽取的结果更加规范化“10月28日”毕竟是个比较模糊的日期应该能够进一步识别出它是“2020年的10月28日”这种特定的日期。事件抽取以一种结构化的方式抽取出整个收购事件的来龙去脉类似于对多种实体抽取任务进行一种组合。这里可以抽取出与收购事件相关的所有信息如时间收购者被收购者被收购金额等。
2. 情感分析
情感Sentiment是人类重要的心理认知能力使用计算机自动感知和处理人类情感已经成为人工智能领域重要的研究内容之一。自然语言处理中的情感分析主要研究人类通过文字表达的情感因此也称为文本情感分析。但是情感又是一个相对比较笼统的概念既包括个体对外界事物的态度、观点或倾向性如正面、负面等又可以指人自身的情绪Emotion如喜、怒、哀和惧等。随着互联网的迅速发展产生了各种各样的用户生成内容User Generated ContentUGC其中很多内容包含着人们的喜怒哀惧等情感对这些情感的准确分析有助于了解人们对某款产品的喜好随时掌握舆情的发展。 因此情感分析成为目前自然语言处理技术的主要应用之一。 情感分类主要注重识别文本中的情感类型或者情感强度而情感信息抽取主要注重识别文本中的评价词评价对象以及二者之间的搭配。
3. 问答系统 问答系统的主要分类以及简要介绍
4. 机器翻译
随着全球化和互联网的普及不同语言之间的交流变得日益重要。目前全球约有7,000种语言其中超过300种拥有超过100万使用者。语言障碍成为国际交流的一个挑战。机器翻译作为克服这一难题的有效技术手段旨在实现不同语言间的自动翻译促进无障碍交流。自然语言处理领域的发展推动了机器翻译技术的进步。近年来谷歌、百度等公司推出了在线机器翻译服务而科大讯飞等公司则推出了能将语音从一种语言翻译成另一种语言的翻译机这些进展为不同语言使用者之间的交流提供了便利。 机器翻译自诞生以来主要围绕理性主义和经验主义两种方法进行研究。“理性主义”是基于规则的方法“经验主义”是数据驱动的统计方法。近年来兴起的基于深度学习的机器翻译方法利用深度神经网络学习源语言句子到目标语言句子的隐式翻译规则即所有的翻译规则都被编码在神经网络的模型参数中。该方法又被称为神经机器翻译Neural MachineTranslationNMT。
5. 对话系统 开放域对话系统类似于一个娱乐型聊天机器人而非是某个领域的专家。为了取悦用户机器人应该能够与用户源源不断地对话提供的回答应该多种多样最好类似于一个专业的人类陪聊提高用户的满意度。 任务型对话系统往往是为了服务于用户完成用户要求的某项特定任务而存在的。 例如我们使用Siri进行订票。我们会说“Siri订一张明天去北京的机票”。 Siri会首先解析并理解用户的请求分析用户的语义获得用户的领域为机票意图为订机票并将关键信息存入槽值构成的列表。 之后Siri在和用户的不断对话中会不断跟踪当前用户语义和状态例如用户想将机票从北京改到上海Siri会在槽值中将到达地所在槽对应的值修改为上海。此外Siri会根据当前用户语义和状态利用语义计算进行决策决定下一步应该做什么即给出什么回答。 最后Siri会选择一个适当的模板来生成问题比如使用模板“请问您从哪里出发”然后把这个问题直接问用户。这种方法比较简单因为模板是固定的只需要在适当的时候选择合适的模板就可以了。生成的文本之后会传递给文本到语音TTS模块。TTS模块的作用是把文本转换成语音这样用户就可以听到计算机发出的声音而不仅仅是看到屏幕上的文字。这样一来对话系统就能通过语音与用户进行互动了。 简而言之NLG负责创建文本消息TTS负责将这些文本消息转换为用户可以听到的语音消息。 由于用户与Siri的对话是多轮对话会一直持续下去直至满足用户需求以上三个流程会循环往复直至满足用户需要。
