网站策划需要什么能力,3g免费网站制作,淘宝网站代理怎么做的,网页加速器app论文笔记整理#xff1a;叶群#xff0c;浙江大学计算机学院#xff0c;知识图谱、NLP方向。会议#xff1a;EMNLP 2019链接#xff1a;https://arxiv.org/abs/1909.04176Abstract这篇论文首次在多标签分类问题中提出了 meta-learning 的方法#xff0c;学习weight polic… 论文笔记整理叶群浙江大学计算机学院知识图谱、NLP方向。会议EMNLP 2019链接https://arxiv.org/abs/1909.04176Abstract这篇论文首次在多标签分类问题中提出了 meta-learning 的方法学习weight policy 和 decision policy分别指代训练时损失函数中不同标签的权重和预测时不同标签的阈值从而更好地建模不同标签之间的依赖和复杂性。在实验表明在 entity typing 和 text classification 两个任务中都取得了更好的实验结果。Introduction 传统的多标签分类模型在训练时采用标准的交叉熵损失函数即每个类别的权重一致在测试时每个类别的阈值一般都取0.5。这种简单的设定忽略了标签之间的依赖关系忽略了不同标签的重要性。实际中很多标签之间存在着关系比如/organization和/company, /urban和/economics。本文利用meta learning的方法学习weight policy和decision policy分别指代训练时损失函数中不同标签的权重和预测时不同标签的阈值。实际上权重和阈值可以被看做两个超参数meta-learning学习到这两个超参数之后传递给下游模型进行训练所以本文的meta-learning方法是模型无关的。Method模型图如图1所示基本结构分为两部分meta-learner 和 classification model。Meta-learner的任务是学习 weight policy 和 decision policy即权重和阈值两个超参Classification model 根据学习到的两个超参训练一个 Batch并进行测试得到测试结果并以测试结果作为 reward 去更新 meta-learner 和 classification model的参数。图1 模型结构示意图Meta-learner Meta-learner 的结构采用了 GRU采用了强化学习的方法去进行weight policy和decision policy的学习。其中强化学习的state是GRU的隐层表示Weight policy和decision policy的定义Reward的定义Classification Model分类模型可以是任何形式的只要损失函数是交叉熵形式即可这里采用的损失函数为其中类别数为Nw为不同类别的权重。只训练一个Batch就进行测试这样可以减轻训练的开销。Experiments 实验在entity typing和text classification两个任务上进行了评测。在entity typing上选取的数据集为FIGER、OntoNotes、BBN分类模型采用了entity typing中的SOTA模型其结构如下图2 entity typing模型结构示意图实验结果如表1所示加入weight policy和decision policy模型的结果可以有2~3个百分点的提升。表1 entity typing实验结果 由于本文中 meta-learning 的方法是基于强化学习的框架而强化学习通常缺乏鲁棒性和对初始化敏感。实验采用不同的初始化方法进行多次实验结果如表2所示。表2 模型鲁棒性实验 文本分类任务模型选取了经典的 text CNN 模型数据集有 Reuters-21578、RCV1-V2实验结果如表3所示。表3 文本分类实验结果 模型的鲁棒性分析如表4所示。表4 模型鲁棒性实验 Conclusion 本文在多标签分类任务中利用 meta-learning 的方法学习 weight policy和 decision policy从而为不同标签学习到不同的权重和阈值在entity typing 和文本分类两个任务上效果有所提升。但是针对作者所说的可以建模不同标签之间的 dependency我觉得这一点上模型并没有显式地体现这一点。OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
