怎样克隆别人的网站,wordpress 媒体库目录,海外 网站 推广,接加工订单的网站自然语言生成是人工智能的重要前沿技术#xff0c;该技术在落地时会面临一个难题#xff1a;如何保证模型生成的文本与输入具有事实层面的一致性#xff0c;即避免生成错误、臆想的信息#xff1f;为推动相关研究#xff0c;中国中文信息学会自然语言生成专委会与千言开源… 自然语言生成是人工智能的重要前沿技术该技术在落地时会面临一个难题如何保证模型生成的文本与输入具有事实层面的一致性即避免生成错误、臆想的信息为推动相关研究中国中文信息学会自然语言生成专委会与千言开源数据集项目(www.luge.ai)联合举办“面向事实一致性的生成评测比赛”。比赛于8月3日开启报名并将在11月7日首届中国自然语言生成大会CCNLG-2021召开评测研讨会并举行颁奖仪式。本届比赛以事实一致性为核心将提供三个对事实一致性有较高要求的典型生成任务文案生成[1]、摘要生成[2]和问题生成[3]结合文本流畅性和事实一致性两项指标综合评估参赛系统的效果。除了有挑战性的赛题百度将赞助赛事为获奖团队提供丰厚的奖金第一名20000人民币、第二名10000人民币、第三名5000人民币。报名及竞赛详情链接 https://aistudio.baidu.com/aistudio/competition/detail/1051、赛题背景及事实一致性简介随着深度神经网络文本生成模型、预训练语言模型的迅速发展自然语言生成的可读性和流畅性不断提升。然而自动生成的文本中经常出现不符合输入的错误事实。这个问题被称为“自然语言生成的事实一致性问题”以自动摘要任务为例以下描述一个具体的样例输入 研究机构此前曾发布报告称2013年长期黄金牛市或将终结下调黄金3个月、6个月和12个月价格预估分别至1825美元、1805美元、1800美元。近日大宗商品分析师Damien Courvalin的研究报告进一步预期国际金价到2018年或跌至1200美元/盎。理由是除了实际利率之外,黄金与各货币之间的联动同样影响着黄金价格不过三个月黄金价格预估仍然看涨。参考摘要 近涨远跌金价2018年或跌至1200美元/盎这是取自LCSTS数据集[2]的一个样例对输入的文本算法需要得出精简的摘要结果。接下来我们看两个由自然语言生成算法得到的结果结果A事实一致 研究机构预计国际金价近涨远跌结果B事实不一致 分析师金价2018年或跌至1800美元可以看到结果A正确结果B粗看似乎也比较流畅但事实和原文表达的内容存在事实偏差“1800美元”vs“1200美元”。目前常用于评估自然语言生成效果的BLEU或ROUGE等指标其思路均为计算生成文本与参考答案的字面匹配度。然而对结果A和结果B计算与参考摘要的字面匹配度反而错误的结果B可以获得更高的分数针对这个问题我们设计和发起了本比赛。2、赛程安排为确保比赛公平性正式赛将分为3个阶段开展阶段1开放测试集1参赛队伍可在测试集1上优化模型效果提交结果到千言平台后会在线给出结果并更新实时榜单1阶段2-最终测试提交开放测试集2参赛队伍计算测试集2上的结果并提交到千言平台阶段3-人工评估以阶段2的自动评测结果为准排名前10的队伍进入人工评估阶段为避免自动评估指标本身的评估偏差将以人工评估为依据确认和公布最终排名。3、参赛奖励千言-面向事实一致性的生成评测比赛的最终获奖团队将获得1丰厚奖金第一名20000人民币、第二名10000人民币、第三名5000人民币。2荣誉证书获奖团队将由赛事主办方颁发权威获奖证书。同时参赛者也将获得以下福利1学习交流机会在赛事群中与参赛者、组织者深入交流2前沿学习资料获取自然语言生成事实准确性提升方法和评估指标的前沿进展学习材料。3精美礼品参赛证明正式报名参赛并提交最终结果的队伍每位成员将获得千言数据集精美的定制周边一份并发放参赛证明。4、比赛组织指导单位中国中文信息学会主办单位中国中文信息学会自然语言生成专委会筹承办单位清华大学、哈尔滨工业大学(深圳)、百度评测委员会黄民烈(清华大学), 户保田(哈尔滨工业大学(深圳))、肖欣延(百度)5、交流群扫码添加微信备注“生成“即可加入竞赛交流群。点击“阅读原文“即可了解竞赛详情并报名后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1].Zhihong Shao, Minlie Huang, Jiangtao Wen, Wenfei Xu, Xiaoyan Zhu. 2019. Long and Diverse Text Generation with Planning-based Hierarchical Variational Model. In Proceedings of EMNLP 2019.[2].Baotian Hu, Qingcai Chen, Fangze Zhu. 2015. LCSTS: A Large Scale Chinese Short Text Summarization Dataset. In Proceedings of EMNLP 2015.[3].Wei He, Kai Liu, Jing Liu, Yajuan Lyu, Shiqi Zhao, Xinyan Xiao, Yuan Liu, Yizhong Wang, Hua Wu, Qiaoqiao She, Xuan Liu, Tian Wu, Haifeng Wang. 2019. DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications. In Proceedings of ACL 2018 MRQA Workshop.
