合网站建设,icp备案查看网站内容吗,wordpress app主题,重庆建设人才促进网导语
本文记录了今年的自然语言处理国际顶级会议EMNLP 2023中接收的所有与Text-to-SQL相关#xff08;通过搜索标题关键词查找得到#xff0c;可能不全#xff09;的论文#xff0c;共计12篇#xff0c;包含5篇正会论文和7篇Findings论文#xff0c;以下是对这些论文的略…导语
本文记录了今年的自然语言处理国际顶级会议EMNLP 2023中接收的所有与Text-to-SQL相关通过搜索标题关键词查找得到可能不全的论文共计12篇包含5篇正会论文和7篇Findings论文以下是对这些论文的略读某几篇也有详细的笔记见链接。
序号类型标题1MainBenchmarking and Improving Text-to-SQL Generation under Ambiguity2MainEvaluating Cross-Domain Text-to-SQL Models and Benchmarks3MainExploring Chain of Thought Style Prompting for Text-to-SQL4MainInteractive Text-to-SQL Generation via Editable Step-by-Step Explanations5MainNon-Programmers Can Label Programs Indirectly via Active Examples: A Case Study with Text-to-SQL6FindingsBattle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison7FindingsEnhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies8FindingsError Detection for Text-to-SQL Semantic Parsing9FindingsReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL Generation10FindingsSelective Demonstrations for Cross-domain Text-to-SQL11FindingsSemantic Decomposition of Question and SQL for Text-to-SQL Parsing12FindingsSQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data
由于篇数过多分为两篇博客记录本篇为第一篇主要记录正会论文
正会论文Main Conference
中稿的这5篇正会论文来看主要还是围绕着Text-to-SQL的评测、实际系统交互和LLM在Text-to-SQL任务的应用为主。
Benchmarking and Improving Text-to-SQL Generation under Ambiguity
链接https://arxiv.org/pdf/2310.13659v1.pdf摘要在文本到SQL转换的研究中大多数基准测试都是针对每个文本查询对应一个正确的SQL的数据集。然而现实生活中的数据库上的自然语言查询经常由于模式名称的重叠和多个令人困惑的关系路径而涉及对预期SQL的显著歧义。为了弥合这一差距我们开发了一个名为AmbiQT的新基准其中包含超过3000个示例每个文本都可以由于词汇和/或结构上的歧义而被解释为两个合理的SQL。 面对歧义时理想的top-k解码器应该生成所有有效的解释以便用户可能的消歧Elgohary等2021年Zhong等2022年。我们评估了几个文本到SQL系统和解码算法包括那些使用最先进的大型语言模型LLMs的系统发现它们距离这一理想还很远。主要原因是流行的束搜索算法及其变体将SQL查询视为字符串并在top-k中产生无益的令牌级别多样性。 我们提出了一种名为LogicalBeam的新解码算法该算法使用基于计划的模板生成和受限填充的混合方法来导航SQL逻辑空间。逆向生成的计划使模板多样化而仅在模式名称上分支的束搜索填充提供了值多样性。LogicalBeam在生成top-k排名输出中的所有候选SQL方面比最先进的模型高出2.5倍的效果。它还提高了SPIDER和Kaggle DBQA上的前5名精确匹配和执行匹配准确率。 要点主要关注于自然语言到SQL转换时的歧义现象作者先是自己设计了一个评测基准AmbiQT然后针对性设计了一种LogicalBeam的新解码算法改善原有的beam-search带来的token-level的beam差异。
Evaluating Cross-Domain Text-to-SQL Models and Benchmarks
链接https://arxiv.org/pdf/2310.18538v1.pdf摘要文本到SQL的基准测试在评估该领域的进展和不同模型的排名方面起着关键作用。然而由于各种原因比如自然语言查询的不明确、模型生成的查询和参考查询中固有的假设、以及在某些条件下SQL输出的非确定性特性导致基准测试中模型生成的SQL查询与参考SQL查询的准确匹配失败。在本文中我们对几个著名的跨领域文本到SQL基准测试进行了广泛的研究并对这些基准测试中表现最佳的一些模型进行了重新评估包括手动评估SQL查询和用等效表达式重写它们。我们的评估揭示由于可以从提供的样本中得出多种解释所以在这些基准测试中达到完美表现是不可行的。此外我们发现这些模型的真实性能被低估了而且在重新评估后它们的相对性能发生了变化。最值得注意的是我们的评估揭示了一个令人惊讶的发现在我们的人类评估中一种基于最新GPT4模型的模型超越了Spider基准测试中的金标准参考查询。这一发现突显了谨慎解读基准测试评估的重要性同时也认识到进行额外独立评估在推动该领域进步中的关键作用。 要点主要讨论了现有Text-to-SQL评测基准中存在的语言不明确、数据值不明确等导致的评估标准失真的现象作者对部分存在上述问题的Question-SQL Pair进行重写后对现有的一些SOTA模型进行了再评估。
Exploring Chain of Thought Style Prompting for Text-to-SQL
链接https://arxiv.org/abs/2305.14215摘要使用大型语言模型LLMs进行上下文学习由于在各种任务上的卓越的少样本表现近来引起了越来越多的关注。然而其在文本到SQL解析上的表现仍有很大的提升空间。在本文中我们假设改善LLMs在文本到SQL解析上的一个关键方面是其多步推理能力。因此我们系统地研究了如何通过思维链CoT风格的提示来增强LLMs的推理能力包括原始的思维链提示Wei等2022b和最少到最多提示Zhou等2023。我们的实验表明像Zhou等2023中的迭代提示可能对文本到SQL解析来说并不必要而使用详细的推理步骤往往会有更多的错误传播问题。基于这些发现我们提出了一种新的CoT风格的提示方法用于文本到SQL解析。与不带推理步骤的标准提示方法相比它在Spider开发集和Spider真实集上分别带来了5.2和6.5点的绝对提升与最少到最多提示方法相比分别带来了2.4和1.5点的绝对提升。要点本文探索了应用LLM解决Text-to-SQL任务时的Prompt Engineering。作者设计了一种“问题分解”的Prompt格式并结合每个子问题中的表列名进行融合实现了与RASATPICARD模型相当的表现。 笔记Text-to-SQL任务中的思维链Chain-of-thought探索
Interactive Text-to-SQL Generation via Editable Step-by-Step Explanations
链接https://arxiv.org/abs/2305.07372摘要关系数据库在这个大数据时代扮演着重要角色。然而对于非专家来说由于他们不熟悉SQL等数据库语言充分释放关系数据库的分析能力是具有挑战性的。虽然已经提出了许多技术来自动从自然语言生成SQL但它们存在两个问题1特别是对于复杂查询它们仍然会犯许多错误2它们没有为非专家用户提供一种灵活的方式来验证和修正错误的查询。为了解决这些问题我们引入了一种新的交互机制允许用户直接编辑不正确的SQL的逐步解释来修复SQL错误。在Spider基准测试上的实验表明我们的方法在执行准确性方面至少比三种最先进的方法高出31.6%。另外一项包括24名参与者的用户研究进一步表明我们的方法帮助用户在更少的时间内以更高的信心解决了更多的SQL任务展示了其拓宽数据库访问特别是对于非专家的潜力。 要点提出了一个名为STEPS的交互式文本到SQL系统允许用户通过直接编辑逐步解释来修正错误的SQL查询。Spider上实验显示STEPS在提高任务完成速度、准确性和用户自信度方面相比现有方法有显著优势。
Non-Programmers Can Label Programs Indirectly via Active Examples: A Case Study with Text-to-SQL
链接https://arxiv.org/abs/2205.12422摘要非程序员能否通过自然语言标注来间接地表示其含义的复杂程序我们介绍了APEL框架其中非程序员通过选择由种子语义解析器例如Codex生成的候选程序来进行标注。由于他们无法理解这些候选程序我们要求他们通过检查程序的输入输出示例来间接选择。对于每个表达APEL会主动搜索一个简单的输入在此输入上候选程序倾向于产生不同的输出。然后我们仅要求非程序员选择合适的输出从而推断出哪个程序是正确的并可以用来微调解析器。作为一个案例研究我们招募了非程序员人类使用APEL重新标注SPIDER一个文本到SQL数据集。我们的方法达到了与原始专家标注者相同的标注准确率75%并揭露了原始标注中的许多微妙错误。 要点本文提出了APEL框架使非程序员能通过选择候选程序的示例输出来注释文本到SQL的语义。这一方法在文本到SQL数据集SPIDER上达到了与专家相当的注释准确性并揭示了原始注释中的一些错误。
