用名字做壁纸网站,网站运营作用,企业网站建设空间,百度公司全称叫什么导语
本文记录了今年的自然语言处理国际顶级会议EMNLP 2023中接收的所有与Text-to-SQL相关#xff08;通过搜索标题关键词查找得到#xff0c;可能不全#xff09;的论文#xff0c;共计12篇#xff0c;包含5篇正会论文和7篇Findings论文#xff0c;以下是对这些论文的略…导语
本文记录了今年的自然语言处理国际顶级会议EMNLP 2023中接收的所有与Text-to-SQL相关通过搜索标题关键词查找得到可能不全的论文共计12篇包含5篇正会论文和7篇Findings论文以下是对这些论文的略读某几篇也有详细的笔记见链接。
由于篇数过多分为两篇博客记录本篇为第二篇主要记录Findings论文
序号类型标题1MainBenchmarking and Improving Text-to-SQL Generation under Ambiguity2MainEvaluating Cross-Domain Text-to-SQL Models and Benchmarks3MainExploring Chain of Thought Style Prompting for Text-to-SQL4MainInteractive Text-to-SQL Generation via Editable Step-by-Step Explanations5MainNon-Programmers Can Label Programs Indirectly via Active Examples: A Case Study with Text-to-SQL6FindingsBattle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison7FindingsEnhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies8FindingsError Detection for Text-to-SQL Semantic Parsing9FindingsReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL Generation10FindingsSelective Demonstrations for Cross-domain Text-to-SQL11FindingsSemantic Decomposition of Question and SQL for Text-to-SQL Parsing12FindingsSQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data
Findings
Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison
链接https://arxiv.org/abs/2310.10190摘要ChatGPT的成功引发了一场AI竞赛研究人员致力于开发新的大型语言模型LLMs以匹敌或超越商业模型的语言理解和生成能力。近期许多声称其性能接近GPT-3.5或GPT-4的模型通过各种指令调优方法出现了。作为文本到SQL解析的从业者我们感谢他们对开源研究的宝贵贡献。然而重要的是要带着审查意识去看待这些声明并确定这些模型的实际有效性。因此我们将六个流行的大型语言模型相互对比系统评估它们在九个基准数据集上的文本到SQL解析能力涵盖了五种不同的提示策略包括零样本和少样本场景。遗憾的是开源模型的性能远远低于像GPT-3.5这样的封闭源模型所取得的成绩这凸显了进一步工作的需要以弥合这些模型之间的性能差距。 要点本文对比了六种大型语言模型包括ChatGPT、Dolly、LLaMA、Vicuna、Guanaco和Bard在文本到SQL解析任务上的性能。尽管模型在生成语法正确的SQL语句方面表现出色但在生成语义上仍有挑战。特别是开源模型的表现普遍低于闭源模型。论文还指出这些语言模型对少次学习中使用的示例非常敏感。
Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies
链接https://arxiv.org/abs/2305.12586摘要上下文学习ICL作为一种新的方法应用于各种自然语言处理任务利用大型语言模型LLMs基于补充了少量示例或特定任务指令的上下文来进行预测。在这篇论文中我们旨在将这种方法扩展到使用结构化知识源的问答任务并通过探索使用LLMs的各种提示设计策略来改进文本到SQL系统。我们对不同的示例选择方法和提示LLMs的最佳指令格式进行了系统性的研究。我们的方法涉及利用示例SQL查询的语法结构来检索示例并证明了在示例选择中追求多样性和相似性会带来性能的提升。此外我们展示了LLMs从与数据库相关的知识增强中受益。我们最有效的策略在Spider数据集上比最先进的系统高出2.5个百分点执行准确率比最佳微调系统高出5.1个百分点。这些结果凸显了我们的方法在适应文本到SQL任务中的有效性并且我们对促成我们策略成功的因素进行了分析。 要点本文主要探索了ICL中的Few-shot示例的选取原则作者提出应该使用SQL的表征进行kNN选择而不是问题的表征通过一系列实验证明了该方法的优越性。笔记LLM少样本示例的上下文学习在Text-to-SQL任务中的探索
Error Detection for Text-to-SQL Semantic Parsing
链接https://arxiv.org/abs/2305.13683摘要尽管近年来文本到SQL语义解析取得了显著进展但现有解析器的性能仍远非完美。与此同时基于现代深度学习的文本到SQL解析器经常过于自信因此在实际使用时对其可信度产生了怀疑。为此我们提出建立一个独立于解析器的文本到SQL语义解析错误检测模型。所提出的模型基于预训练的代码语言模型并通过图神经网络学习的结构特征进行增强。我们在跨领域环境中收集的真实解析错误上训练我们的模型。使用具有不同解码机制的三个强大的文本到SQL解析器进行的实验表明我们的方法超越了依赖解析器的不确定性指标并能有效地提高文本到SQL语义解析器的性能和可用性无论它们的架构如何。 要点本文基于CodeBERT训练了一个独立于解析器的SQL语义检查器可以用于Text-to-SQL系统交互式触发检测和输出beam的重排序。
ReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL Generation
链接https://openreview.net/pdf/39418589877bfe8b6dae6abbd727bcdb81a46d15.pdf摘要文本到SQL是将自然语言问题转换为SQL查询的任务。现有方法直接将自然语言与SQL语言对齐并训练一个基于编码器-解码器的模型来适应所有问题。然而它们低估了SQL的固有结构特征以及特定结构知识与一般知识之间的差距。这导致生成的SQL中出现结构错误。为了解决上述挑战我们提出了一个检索增强框架即ReFSQL。它包含两个部分结构增强检索器和生成器。结构增强检索器旨在以无监督的方式识别具有可比特定知识的样本。随后我们将检索到的样本的SQL纳入输入使模型能够获得类似SQL语法的先验知识。为了进一步弥合特定知识与一般知识之间的差距我们提出了一种马哈拉诺比斯对比学习方法该方法有助于将样本转移到由检索样本构建的特定知识分布。在五个数据集上的实验结果验证了我们的方法在提高文本到SQL生成的准确性和鲁棒性方面的有效性。我们的框架在与许多其他主干模型包括11B flan-T5结合时取得了改进的性能并在与采用微调方法的现有方法进行比较时也取得了最先进的性能。 要点提出使用检索式增强Text-to-SQL生成并利用对比学习帮助解码器更好的学习到检索样本构建的特定知识分布。
Selective Demonstrations for Cross-domain Text-to-SQL
链接https://arxiv.org/abs/2310.06302摘要具有上下文学习能力的大型语言模型LLMs在跨领域文本到SQL任务中展示了令人印象深刻的泛化能力而无需使用领域内注释。然而已发现纳入领域内的示例演示能大大提高LLMs的性能。在本文中我们深入研究了领域内示例中对改善贡献的关键因素并探索我们是否可以在不依赖领域内注释的情况下利用这些优势。基于我们的发现我们提出了一个示例选择框架ODIS该框架利用领域外示例和合成生成的领域内示例来构建演示。通过从混合来源检索演示ODIS利用了两者的优势与依赖单一数据源的基线方法相比展示了其有效性。此外ODIS在两个跨领域文本到SQL数据集上均超过了最先进的方法执行准确率分别提高了1.1和11.8个百分点。 要点本文介绍了ODIS框架这是一种新颖的Text-to-SQL方法它结合了领域外示例和合成生成的领域内示例以提升大型语言模型在In-context Learning中的性能。笔记从领域外到领域内LLM在Text-to-SQL任务中的演进之路
Semantic Decomposition of Question and SQL for Text-to-SQL Parsing
链接https://arxiv.org/pdf/2310.13575v1.pdf摘要文本到SQL语义解析面临着泛化到跨领域和复杂查询的挑战。最近的研究采用了问题分解策略来增强复杂SQL查询的解析。然而这种策略遇到了两个主要障碍1现有数据集缺乏问题分解2由于SQL的语法复杂性大多数复杂查询无法分解为可以轻松重组的子查询。为了应对这些挑战我们提出了一种新的模块化查询计划语言QPL它系统地将SQL查询分解为简单和规则的子查询。我们利用SQL服务器查询优化计划的分析开发了从SQL到QPL的转换器并用QPL程序增强了Spider数据集。实验结果表明QPL的模块化特性有利于现有的语义解析架构并且训练文本到QPL解析器比文本到SQL解析更有效用于语义上等价的查询。 QPL方法还提供了两个额外的优势1QPL程序可以被释义为简单的问题这使我们能够创建一个复杂问题分解问题的数据集。在这个数据集上训练我们获得了一个对数据库模式敏感的数据检索问题分解器。2对于复杂查询QPL对非专家来说更容易访问导致语义解析器的输出更具可解释性。 要点本文提出了一种叫做Query Plan Language (QPL)的语言用来将复杂SQL语句分解为更加简单的子语句。QPL可以将复杂问题转述为简单问题提供了一种复杂问题分解方案。同时QPL对于非专家处理复杂查询更易于接近使语义解析器的输出更易于理解。笔记QPL一种新型的Text-to-SQL任务中间表示形式
SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data
链接https://arxiv.org/abs/2311.02883摘要文本到SQL旨在自动化从自然语言文本生成数据库SQL查询的过程。在这项工作中我们提出了“SQLPrompt”专门用于提高大型语言模型LLMs的文本到SQL的少样本提示能力。我们的方法包括创新的提示设计、基于执行的一致性解码策略在其他SQL提议中选择执行结果最一致的SQL以及一种旨在通过在一致性选择期间使用不同的提示设计“MixPrompt”和基础模型“MixLLMs”多样化SQL提议来提高性能的方法。我们展示了SQLPrompt在少量标注数据的上下文学习中超过了以前的方法以大幅度提升缩小了与使用数千个标注数据进行微调的最新技术的差距。 要点本文提出了SQLPrompt通过创新的Prompt设计、基于执行一致性的解码策略以及混合不同格式的Prompt和不同LLMs输出的方式提高了LLM在Few-shot In-context Learning下的能力。笔记论文笔记SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data
