专注企业网站建设,北京专业网站建设,如何对网站建设和维护,电子商务网站建设讨论本文是LLM系列文章#xff0c;针对《Controllable Text Generation with Language Constraints》的翻译。 具有语言约束的可控文本生成 摘要1 引言2 COGNAC基准3 方法4 实验设置5 结果6 相关工作7 结论不足 摘要
我们考虑在具有自然语言中指定的约束的语言模型中的文本生成任…本文是LLM系列文章针对《Controllable Text Generation with Language Constraints》的翻译。 具有语言约束的可控文本生成 摘要1 引言2 COGNAC基准3 方法4 实验设置5 结果6 相关工作7 结论不足 摘要
我们考虑在具有自然语言中指定的约束的语言模型中的文本生成任务。为此我们首先创建了一个具有挑战性的基准COGNAC它为模型提供了一个带有示例文本的主题以及要避免的文本约束。与之前的工作不同我们的基准测试包含来自Wordnet和Wikidata等数据库的知识密集型约束这允许直接评估同时在广泛的属性级别和狭窄的词汇级别控件之间取得平衡。我们发现即使是像GPT-3这样的最先进的语言模型也经常在这项任务中失败并提出了一种利用语言模型自身内部知识来指导生成的解决方案。我们的方法称为COGNACGEN首先查询语言模型以生成指定主题或约束的指导术语并使用该指导来修改模型的token生成概率。我们提出了三种形式的指导二进制验证器、top-k token、文本示例并使用前缀调整方法来提取指导以解决不同的自然语言约束。通过广泛的实证评估我们证明了COGNACGEN可以成功地推广到看不见的指令并在生成符合约束的文本方面优于竞争基线。
1 引言
2 COGNAC基准
3 方法
4 实验设置
5 结果
6 相关工作
7 结论
我们引入了一个新的任务用于在自然语言中指定约束的语言模型中进行可控生成。我们使用Wordnet和Wikidata的数据开发了COGNAC这是一个包含基于知识的约束的新基准并表明即使是像GPT-3这样的最先进的语言模型也无法符合所提供的指令。然后我们开发了COGNACGEN这是一种使用语言模型内部知识来指导生成的方法。我们的方法涉及几个关键创新如使用前缀调整的引导自蒸馏和基于文本示例引导的基于trie的解码方案。这有助于该模型生成与几个基线包括GPT-3等更大的模型相比不太频繁违反约束的主题文本。更重要的是我们的方法只需要训练前缀参数并且可以很容易地扩展到更大的模型而不需要显著的计算开销。我们的分析还表明COGNAC仍有很大的改进空间我们希望未来的方法将发现有助于开发更好的方法来控制语言模型的基准。
不足
我们的工作旨在减少LMs中不受欢迎的生成同时推广理想的文本。当应用我们的方法时一个成功的场景将提高指令一致性得分。然而我们的基准受到所使用的基础知识库KB的全面性的限制。任何超出知识库中现有事实知识的生成都将被视为不正确的这可能会放大知识库中存在的任何偏见例如具有特定背景或种族的人可能代表性不足。此外即使生成在知识库的范围内模型也可能倾向于选择某些类型的知识而不是另一种类型的知识。这些隐含的偏见可能会对模型的最终用户造成不公平。
