网站 建设的必要性,福州商城网站开发公司,竞彩足球最新比赛,域名查询万网ChinesePersonRelationGraph
ChinesePersonRelationGraph, person relationship extraction based on nlp methods.中文人物关系知识图谱项目,内容包括中文人物关系图谱构建,基于知识库的数据回标,基于远程监督与bootstrapping方法的人物关系抽取,基于知识图谱的知识问答等应用…ChinesePersonRelationGraph
ChinesePersonRelationGraph, person relationship extraction based on nlp methods.中文人物关系知识图谱项目,内容包括中文人物关系图谱构建,基于知识库的数据回标,基于远程监督与bootstrapping方法的人物关系抽取,基于知识图谱的知识问答等应用. 项目地址:https://github.com/liuhuanyong/PersonRelationKnowledgeGraph
项目介绍
知识抽取(实体关系抽取)是知识图谱构建中的核心环节,实体关系抽取作为一项基本技术在自然语言处理应用中扮演着重要作用. 究其技术而言,主要分成两种三种主流方法:
1, 基于规则的方法
在工业界大多还是使用的规则模板的方法,这个可以参考我的相关项目: 1)https://github.com/liuhuanyong/EventTriplesExtraction, 这是借助依存句法与语义角色标注的方法. 2)https://github.com/liuhuanyong/ComplexEventExtraction, 这个项目提供了复合事件的基本模式,可以初步筛选出候选的因果,反转等事件 3)https://github.com/liuhuanyong/SequentialEventExtration, 这个项目提供了一种基于VOB模式的顺承事件抽取方法,讲的是一种顺承关系 基于规则的方法,升级版的话,就是Bootstrapping了,可以通过用户自定义种子模板,不断迭代,最终扩充模式,但置信度这个问题不是很好解决 #
2, 基于学习的方法
这个在学术界用的比较多,从机器学习一直演变了到现在的各种深度学习模型,而在这种方法中,通常实体关系抽取问题转换成一个实体关系分类任务去做,主要可以分成一下几种. 1)基于全监督的实体关系抽取 这个全监督,也就是说,基于完全标注数据的一种学习方式,例如著名的实体关系评测Semeval系列,给出了19种关系分类任务,ACE给出了17类的实体关系分类任务.针对这些任务,模型经历了CNN,LSTM,ATTENTION等,这里就不再说明. 2)基于噪声数据的远程监督实体关系抽取 全监督模型固然很好,但数据是一个很棘手的问题,因此就出现了远程监督的方法,所谓远程监督,个人理解就是已经存在的知识库进行数据回标,然后通过多实例学习进行一种容许噪声的监督方法.不过这种方法准确率不是很高,在NYT这个数据集上,PCNNS等工作都没有达到业业界可以使用的地步.当然,最新出现了联合训练的模型. 3)基于规则与学习模型融合的实体关系抽取 这种方式,在业界或许是一种出路,例如,将实体关系抽取中的实体识别部分交给学习模型去做序列标注,最后针对实体之间的关系,结合依存句法等语义规则去做,这个在解决实体的多种关系问题,可以去尝试.
3, 当前问题
但就针对全监督的实体关系抽取任务而言,在英文数据集上已经在刷各种state-of-art,但就中文而言,感觉还是一片贫瘠.在网上搜了很久,最终指搜到COAE2016的一个评测任务,但是,评测集不公开.因此,就抛出了本项目构建的几个初衷: 1, 中文实体关系抽取数据集很少,能不能构建一个准确率可接受的数据集? 2, 能不能浅显易懂地把那些高大上的远程监督,bootstrapping经历一遍? 3, 人物关系数据在百科等平台上都有放出,或许可以做为远程监督的先验知识库? 4, 能否提供一个实时动态更新的人物关系图谱方法?
4,项目任务
因此,本项目将尝试完成以下几个任务: 1, 完成一定规模的人物关系知识库, 作为公开数据集开放出去 2, 走一遍实体关系回标,形成一个准确性相对允许的人物关系抽取数据集 3, 走一遍基于学习方式实体关系抽取,查看一下效果,熟悉一下这个技术流程 4, 走一便基于Bootstrapping的实体关系抽取,熟悉一下这个技术流程 5, 基于构建起来的人物关系图谱,完成一个面向人物关系图谱的知识问答
项目架构图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Bf7opFmi-1620385961150)(https://github.com/liuhuanyong/ChinesePersonRelationGraph/blob/master/image/project_route.png)]
人物关系基础知识库
1,收集人名词典 2,基于人名词典,采集搜狗人物关系图谱数据库
刘备人物关系网
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WTMqOl0M-1620385961151)(https://github.com/liuhuanyong/ChinesePersonRelationGraph/blob/master/image/person_graph1.png)]
2# 韩寒人物关系网 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hllj9tOZ-1620385961152)(https://github.com/liuhuanyong/ChinesePersonRelationGraph/blob/master/image/rel_graph2.png)]
3,人物关系数据库规模
项目数量人物11024关系对35995关系类型1144
4,人物关系60%
关系类型频次频率累加频率搭档46920.13034781642404710.1303478164240471好友37710.104761640182242470.23510945660628957队友17580.048838759862206910.2839482164684965朋友16810.046699633292588060.3306478497610846丈夫14310.039754417157461940.3704022669185465妻子11980.033281475719524390.4036837426380709师傅9860.027391932436937440.4310756750750083儿子9720.0270030003333703760.4580786754083787母亲9220.025613957106345150.4836926325147239同学6980.019391043449272140.5030836759639961弟弟6780.018835426158462050.5219191021224581女儿6090.016918546505167240.5388376486276253前女友5940.0165018335370596750.555339482164685哥哥5800.016112901433492610.5714523835981776合作5730.015918435381709080.5873708189798867前男友5730.015918435381709080.6032892543615959
回标语料构建
目录地址:EventMonitor 运行方式:cd EventMonitor , scrapy crawl eventspider 回标语料举例: 霍英东, 霍震宇, 三子 据此间媒体11日报道e1霍英东/e1长房三子e2霍震宇/e2再度入禀法院要求法官颁令兄长霍震霆交出记录e1霍英东/e1所有资产及财务资料的记事本1.0朴宝英, 金秀贤, 绯闻 【组图】最爱人妻全智贤“初恋”秀智一再插足 e1朴宝英/e1韩佳人T-ara恩静已成往事 e2金秀贤/e2绯闻女友大盘点1.0辰亦儒, 炎亚纶, 飞轮海组合 飞轮海曾是火遍亚洲的偶像组合飞轮海四名成员吴尊、汪东城、e1辰亦儒/e1和e2炎亚纶/e2四人也曾是不少人心目中的偶像象征着我们的一代人的青春1.0唐贝欣, 唐贝诗, 姐姐 e1唐贝欣/e1在伦敦大学毕业姐姐e2唐贝诗/e2当然捧场1.0刘琳, 刘孜, 同学 e2刘孜/e2是徐静蕾、e1刘琳/e1的同学最初是主持综艺节目后投入影视剧的拍摄1.0高晓松, 沈欢, 第一任妻子 e1高晓松/e1老婆e2沈欢/e2相识过程关于e1高晓松/e1和第一任妻子e2沈欢/e2的相识颇具戏剧性1.0高崚, 张军, 搭档 e1高崚/e1是国羽历史上的又一位女子兼项英雄2000年8月e1高崚/e1搭档e2张军/e2参加悉尼奥运会羽毛球混双比赛中爆冷为中国队夺得了奥运会历史上第一枚混双金牌1.0李行亮, 黄雅莉, 好友 陈俊彤自出道以来收获了不少圈内好友e1李行亮/e1、e2黄雅莉/e2等也纷纷为陈俊彤新专辑的推出送上了祝福他们对于音乐同样的执着和热爱令友谊长存也令现场火速升温1.0谢坤达, 黄鸿升, 好友 修杰楷和好友e2黄鸿升/e2、e1谢坤达/e12017年上《小燕有约》在小燕姐的追问下侃侃而谈回忆两人相恋感性说“我一直说静雯比我勇敢她其实要付出的事情是比我更多1.0张君秋, 王婉华, 弟子 演出结束后董雪平、万晓慧拜京剧名家e1张君秋/e1先生弟子e2王婉华/e2、薛亚萍为师1.0霍英东, 霍启山, 孙子 e2霍启山/e21983年5月生广州人是e1霍英东/e1的孙子父亲霍震霆为e1霍英东/e1长子母亲是港姐冠军朱玲玲哥哥是霍启刚弟弟是霍启仁1.0苗侨伟, 苗彤, 女儿 4.e1苗侨伟/e1女儿e2苗彤/e21.0万方, 曹禺, 父亲 知名作家、e2曹禺/e2三女儿e1万方/e1在会后接受专访时表示自己曾因为父亲在话剧方面的成就而感到压力直到五十岁才写出第一部话剧作品1.0姜文, 姜一郎, 女儿 近日e1姜文/e1女儿e2姜一郎/e2和外国朋友的合影在网络曝光合影中e2姜一郎/e2长发红唇很有大腕风范1.0陈建斌, 曹卫宇, 同学 e2曹卫宇/e2在剧中饰演吴昆才和大学同学也是多年好兄弟的e1陈建斌/e1有大量对手戏两人在片场配合十分默契e2曹卫宇/e2更是大呼和兄弟演戏很过瘾1.0曹敏莉, 曹蕙兰, 妹妹 e1曹敏莉/e1的妹妹e2曹蕙兰/e2(前名曹敏宝)通过电话访问激赞未来姐夫爱屋及乌问她姐姐是否有喜e2曹蕙兰/e2说“一定不是反而大姐姐七月就生了1.0付笛声, 付豪, 儿子 1992年任静和e1付笛声/e1的儿子e2付豪/e2出生了让这个家庭更添了许多的欢乐1.0王洪礼, 王亮, 儿子 而e1王洪礼/e1的儿子e2王亮/e2也从事了足球职业并且取得了不错的成绩1.0韩庚, 银赫, sj成员 出道当时的成员有利特、希澈、e1韩庚/e1、艺声、强仁、神童、晟敏、e2银赫/e2、东海、始源、厉旭和起范1.0刘少奇, 刘允斌, 儿子 1955年在俄罗斯已经扎根立足的e2刘允斌/e2接到了父亲的来信e1刘少奇/e1希望儿子能回到祖国加入到新中国第1.0丁俊晖, 蔡剑忠, 恩师 他拥有出众的台球能力而且很懂事性格比较开朗深得教练喜爱e1丁俊晖/e1昔日恩师e2蔡剑忠/e2[微博]就曾公开表示“如果袁思俊发展好未来极有可能追上甚至超越e1丁俊晖/e1的成就1.0郁可唯, 黄英, 同是快女 搜狐娱乐讯“快女”三强正式出炉与传闻相符最后一位离开的选手在同是成都赛区的e2黄英/e2和e1郁可唯/e1之间进行抉择唱功备受肯定的e1郁可唯/e1最终止步三强成为今年“快女”第四名1.0王皓, 闫博雅, 妻子 腾讯体育9月29日讯近日乒乓名将e1王皓/e1在综艺节目中因与妻子e2闫博雅/e2意见不合而愤然离场这件事引起不小的轰动1.0蔡康永, 刘坤龙, 同志男友 e1蔡康永/e1泣诉心酸路感动金星 e1蔡康永/e1男友e2刘坤龙/e2个人资料曝光(图)1.0张晨, 卢卫中, 教练 多年来江苏队先后为国家队培养和输送了袁伟民、邹志华、邸安和、曹平、薛永业、张友生、e2卢卫中/e2、陆飞、张晓东、施海荣、陈平、e1张晨/e1等一大批优秀国手和教练为我国排球事业做出卓越的贡献1.0叶莉, 苗立杰, 好友 陈楠与e2苗立杰/e2均为姚夫人e1叶莉/e1在女篮国家队中的好友因此她们与姚明夫妇的关系极佳1.0于震, 辛月, 妻子 演员e1于震/e1的妻子e2辛月/e2貌美如花【图】1.0马唯中, 周美青, 母亲 马英九夫人e2周美青/e2几次出境据了解e1马唯中/e1趁同行机会要蔡沛然向她母亲请安1.0康希, 何耀珊, 妻子 新加坡e1康希/e1等牧者失信案二审 其妻子e2何耀珊/e2被指募资1.0卢燕, 李桂芬, 母亲 e1卢燕/e1的母亲是京剧名伶e2李桂芬/e2曾拜梅兰芳为义父而京剧大师梅兰芳正是第一位将京剧介绍到海外的文化使者并使京剧跻身于世界戏剧之林1.0李健, 沈梦辰, 经纪人 记者了解到包括e2沈梦辰/e2在内的《歌手3》(在线观看)芒果经纪人也将加盟《好好学吧》至于e2沈梦辰/e2会否带着清华哥e1李健/e1一起上节目备受期待1.0林志玲, 吴慈美, 母亲 e1林志玲/e1母亲e2吴慈美/e2表示“她每年都要缴很多税款应该不会(漏税)吧1.0钱三强, 钱民协, 女儿 e1钱三强/e1女儿e2钱民协/e2三钱中两钱曾是邻居1.0杨元龙, 杨敏德, 女儿 1978年由e1杨元龙/e1创立的香港溢达集团早在20年前就交班到女儿e2杨敏德/e2的手中1.0我的公众号
