网站界面用什么做,汕头seo建站,广东装饰网站建设,logo设计网站排行榜EMNLP是计算语言学和自然语言处理领域顶级国际会议之一#xff0c;属于CCF B类#xff0c;是由 ACL 下属的SIGDAT小组主办的NLP领域顶级国际会议#xff0c;一年举办一次。相较于ACL#xff0c;EMNLP更偏向于NLP在各个领域解决方案的学术探讨。
今年的EMNLP 2023 已于2023…EMNLP是计算语言学和自然语言处理领域顶级国际会议之一属于CCF B类是由 ACL 下属的SIGDAT小组主办的NLP领域顶级国际会议一年举办一次。相较于ACLEMNLP更偏向于NLP在各个领域解决方案的学术探讨。
今年的EMNLP 2023 已于2023年12 月 6 日 - 10 日在新加坡举行。本次大会公布了最佳长论文奖、最佳短论文奖、杰出论文奖、最佳Demo奖等奖项包含了今年爆火的ChatGPT 大模型、NLP 概念领域。
我这次帮大家整理了今年EMNLP 2023的获奖论文并且做了简单的介绍原文及源码需要的同学看文末
最佳长论文
标题Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning
一种理解上下文学习的信息流视角
作者Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun
「简述」论文在信息流视角下探讨了大型语言模型LLMs的上下文学习ICL机制。研究结果表明演示示例中的标签词作为锚点在浅层计算层处理过程中语义信息聚集到标签词表示中标签词中整合的信息作为LLMs最终预测的参考。基于这些发现作者引入了一种锚点重新加权方法来提高ICL性能一种演示压缩技术来加快推理以及一种用于诊断GPT2-XL中ICL错误的框架。这些有希望的应用再次验证了未被发现的ICL工作机制并为未来的研究铺平了道路。 最佳短论文
标题Faster Minimum Bayes Risk Decoding with Confidence-based Pruning
基于置信度剪枝的更快最小贝叶斯风险解码
作者Julius Cheng, Andreas Vlachos
「简述」对于某些效用函数来说最小贝叶斯风险MBR解码器会输出模型分布中期望效用最高的假设。据显示与束搜索相比它在条件语言生成问题中提高了准确性特别是在神经机器翻译中、在人类和自动评估中都是如此。然而标准采样算法对于MBR的计算量要远大于束搜索需要大量的样本以及二次调用效用函数限制了其适用性。本文描述了一种MBR算法该算法在逐步增加用于估计效用的样本数量的同时根据Bootstrap抽样获得的置信度估计修剪不太可能有最高效用的假设。 杰出论文奖
标题Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents
作为重新排名代理调查大型语言模型
作者Weiwei Sun, I ingyong Yan, Xinyu Ma, Shuaiqiang Wang, Pengjie Ren, Zbumin Chen, Dawei Yin,Zhaochun Ren
「简述」ChatGPT等大型语言模型在各种语言相关任务中表现出色包括搜索引擎。它们不仅可以生成文本还可以进行信息检索和段落排名。本文首先调查生成式LLM如ChatGPT和GPT-4在IR中的相关性排名在适当的指导下这些模型甚至可以在流行的信息检索基准上提供与最新监督方法相当甚至更好的结果。此外为了解决数据污染问题作者收集了一个新的测试集以验证模型对未知知识的排名能力。最后作者提出了一种方法通过使用排列消融方案将大型语言模型的排序能力精简为小型专业模型以提高实际应用的效率。这些小型模型在BEIR基准上的性能优于更大的监督模型。 标题SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization
百万级对话蒸馏与社交常识情境化
作者Hyunwoo Kim, Jack Hessel, Liwei Jiang, Peter West, Ximing Lu, Youngjae Yu, Pei Zbou,Ronan Le Bras, Malibe Alikhani, Gunbee Kim, Maarten Sap, Yejin Choi
「简述」SODA是一个公开的百万级高质量社交对话数据集解决了开放领域社交对话数据稀缺的问题。它使用知识图谱获取社交常识知识并从大型语言模型中提取广泛的社会互动。与以前的数据集相比SODA中的对话更一致、更具体、更自然。使用SODA作者训练了COSMO一个可泛化的对话模型在未观察到的数据集上比表现最佳的对话模型更自然、更一致。实验表明COSMO有时甚至比原始人类编写的金标准响应更受欢迎。 标题LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers
一种结合语言模型和一阶逻辑证明器进行逻辑推理的神经符号方法
作者Theo X. Olausson, Alex Gu, Ben Lipkin, Cedeao E. Zhang Armando Solar-Lezama,Joshua B. Tenenbaum, Roger P. Levy
「简述」LINC是一种用于逻辑推理的将语言模型与一阶逻辑证明相结合的神经符号方法。这种方法将逻辑推理任务重新表述为模块化神经符号编程使大型语言模型能够更有效地进行这种推理。通过将自然语言翻译成一阶逻辑表达式并使用外部定理证明器进行演绎推理LINC在FOLIO和ProofWriter等数据集上取得了显著的性能提升。与GPT-3.5和GPT-4的思维链提示相比LINC在ProofWriter上的得分高出38和10。这种方法的结合使用LLM和符号证明器可以解决自然语言逻辑推理的问题。 最佳论文 Demo
标题PaperMage: A Unified Toolkit for Processing, Representing, and Manipulating Visually-Rich Scientific Documents
用于处理、表示和操作视觉丰富的科学文献的统一工具包
作者Kyle Lo, Zejiang Shen, Benjamin Newman, Joseph Chee Chang, Russell Authur, Erin Bransom, Stefan Candra, Yoganand Chandrasekhar, Regan Huff, Bailey Kuehl, Amanpreet Singh, Chris Wilhelm, Angele Zamarron, Marti A. Hearst, Daniel S. Weld, Doug Downey, Luca Soldaini
「简述」尽管自然语言处理NLP和计算机视觉CV模型在学术领域的应用越来越受到关注但科学文献仍然具有挑战性。它们通常以难以使用的PDF格式存在并且用于处理它们的模型生态系统是分散和不完整的。作者介绍了PaperMage一个用于处理和操作视觉丰富、结构化的科学文档的开源Python工具包。它整合了最先进的NLP和CV模型提供了一站式解决方案简化了文本和视觉文档元素的表示和操作。PaperMage已经为多个研究原型的人工智能应用程序提供了动力并被用于处理数百万个PDFs的大规模生产系统。 最佳主题论文
标题Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition
通过全球规模的提示黑客竞赛暴露LLM的系统漏洞
作者Sander Schulhoff,Jeremy Pinto,Anaum Khan,Louis-François Bouchard,Chenglei Si,Svetlina Anati,Valen Tagliabue,Anson Kost,Christopher Carnahan,Jordan Boyd-Graber
「简述」大型语言模型越来越常被用在和用户直接交流的场景中比如聊天机器人和写作助手。但是这些模型很容易受到提示注入和越狱等攻击即黑客操纵模型忽略原有指令执行恶意指令。为了解决这个问题作者发起了一个全球范围的提示黑客攻击比赛收集了大量针对最先进LLM的攻击性提示。我们发现这些模型确实可以被黑客操纵。作者还建立了一个全面的本体类型描述各种攻击性提示。 最佳行业论文
标题Personalized Dense Retrieval on Global Index for Voice-enabled Conversational Systems
基于全局索引的语音对话系统中的个性化密集检索
作者Masha Belyi, Charlotte Dzialo, Chaitanya Dwivedi,Prajit Reddy Muppidi, Kanna Shimizu
「简述」论文提出了一种新的方法用于改进语音控制的AI对话系统中的实体检索。这种方法可以抵抗语音变化和实体解析不清的干扰。它不局限于根据用户历史交互构建的个性化索引而是将用户的收听偏好嵌入到检索中使用的上下文查询嵌入中。这使得模型能够更准确地预测实体并且在实体检索任务上的表现比基线提高了91%。此外作者还优化了这种方法使其适应在线延迟的约束同时保持性能的提升。 关注下方《学姐带你玩AI》
回复“EMNLP获奖”获取全部论文开源代码
码字不易欢迎大家点赞评论收藏
