南宁网站seo,网页设计考研院校,上海十大外贸公司,怎么做网站弹出公告近期#xff0c;阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议#xff0c;聚焦于自然语言处理技术在各个应用场景的学术研究#xff0c;尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、…近期阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议聚焦于自然语言处理技术在各个应用场景的学术研究尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新在学术和工业界都有巨大的影响力。此次入选意味着阿里云人工智能平台PAI自研的自然语言处理算法达到了全球业界先进水平获得了国际学者的认可展现了中国人工智能技术创新在国际上的竞争力。
论文简述
面向Stable Diffusion的自动Prompt工程算法BeautifulPrompt
文生图是AIGC中最引人注目和广泛应用的技术之一旨在通过文本输入创建逼真的图像。然而文成图模型要求用户在模型推理之前编写文本提示例如“一艘雄伟的帆船”。编写满足设计师或艺术工作者需求的这些提示充满了不确定性就像开盲盒一样。这是由于训练数据的质量问题导致需要详细的描述才能生成高质量的图像。在现实场景中非专家往往很难手工编写这些提示并且需要通过试错的迭代修改来重新生成图像从而导致时间和计算资源的严重浪费。BeautifulPrompt模型关注于大语言模型LLM自动地生成高质量的提示词与InstructGPT类似采用了三阶段的训练方式。下图展示了使用简单的图片描述和BeautifulPrompt之后生产的图片 为了验证BeautifulPrompt的有效性我们在一些基于模型打分的客观指标和人类主观评估上做了评测结果验证了BeautifulPrompt显著提升了提示词的质量可以生成高质量的图像。
面向垂直领域的知识预训练语言模型
知识增强预训练语言模型KEPLM通过从大规模知识图KGs中注入知识事实来提高各种下游NLP任务的性能。然而由于缺乏足够的域图语义这些构建开放域KEPLM的方法很难直接迁移到垂直领域因为它们缺乏对垂直领域KGs的特性进行深入建模。如下图所示KG实体相对于纯文本的覆盖率在垂直领域中明显低于开放域表明领域知识注入存在全局稀疏现象。这意味着将检索到的少数相关三元组直接注入到PLM中对于领域来说可能是不够的。我们进一步注意到在垂直领域KGs中最大点双连通分量的比率要高得多这意味着这些KGs中同一实体类下的实体相互连接更紧密并表现出局部密度特性。 这一工作研究是基于上述领域KG的数据特性提出了一个简单但有效的统一框架来学习各种垂直领域的KEPLM。它分别通过双曲空间学习垂直领域图谱数据的分层语义信息来补充全局语义稀疏模块Hyperbolic Knowledge-aware Aggregator通过捕捉领域图谱稠密的图结构构造基于点双联通分量的对比学习模块Multi-Level Knowledge-aware Augmenter。 我们选取了金融和医疗等领域的各种下游任务的全数据量和少样本数据量场景进行评测结果体现出这个模型的优越性。
基于大语言模型的复杂任务认知推理算法CogTree
随着深度学习在自然语言处理、机器翻译等任务上的不断发展人们对如何将深度学习应用到自然语言处理中越来越感兴趣由此出现了大语言模型例如GPT-3.5并已在文本生成、情感分析、对话系统等多个任务上取得了重大突破。大语言模型通常基于大规模文本数据进行预训练然后通过微调在特定任务上进行优化以生成高质量的文本输出。然而对于语言模型而言复杂的逻辑推理问题和数学问题的求解仍然是很困难的。并且传统的语言模型缺乏认知能力。在处理涉及冗长的推理链或多步解决方案的问题时对于问题及其当前回答的评估是很重要的。然而目前的方法例如Chain-of-thought等通常缺乏对于中间过程的验证。并且大型语言模型的部署和推理成本相对较高特别是在利用无参数更新的推理增强技术时。这些技术需要大量的上下文和多步的答案生成进一步增加了推理成本和时间。
这一工作研究面向轻量化大模型的复杂任务推理使用较小规模的模型7B构建双系统生成推理树大大增强模型在复杂数学问题和逻辑推理问题上的回答能力。提出了一种大模型面向复杂数学问题的求解方法。该方法基于人类的认知理论通过两个系统直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设反思系统对直觉系统产生的假设进行验证并选择更有可能的假设进行后续生成直到达到最终结果。通过上述双系统的迭代式生成可以提升大模型的解题准确度。 我们在Entailment Bank逻辑推理数据集以及GSM8K数学问题数据集上进行了测试效果证明CogTree对大模型复杂任务上的回答准确率提升明显。
基于知识迁移的跨语言机器阅读理解算法
大规模预训练语言模型的广泛应用促进了NLP各个下游任务准确度大幅提升然而传统的自然语言理解任务通常需要大量的标注数据来微调预训练语言模型。但低资源语言缺乏标注数据集难以获取。大部分现有的机器阅读理解MRC数据集都是英文的这对于其他语言来说是一个困难。其次不同语言之间存在语言和文化的差异表现为不同的句子结构、词序和形态特征。例如日语、中文、印地语和阿拉伯语等语言具有不同的文字系统和更复杂的语法系统这使得MRC模型难以理解这些语言的文本。为了解决这些挑战现有文献中通常采用基于机器翻译的数据增强方法将源语言的数据集翻译成目标语言进行模型训练。然而在MRC任务中由于翻译导致的答案跨度偏移无法直接使用源语言的输出分布来教导目标语言。
这一工作提出了一种名为X-STA的跨语言MRC方法遵循三个原则共享、教导和对齐。共享方面提出了梯度分解的知识共享技术通过使用平行语言对作为模型输入从源语言中提取知识增强对目标语言的理解同时避免源语言表示的退化。教导方面本方法利用注意机制在目标语言的上下文中寻找与源语言输出答案语义相似的答案跨度用于校准输出答案。对齐方面多层次的对齐被利用来进一步增强MRC模型的跨语言传递能力。通过知识共享、教导和多层次对齐本方法可以增强模型对不同语言的语言理解能力。 为了验证X-STA算法的有效性我们在三个跨语言MRC数据集上进行了测试效果证明X-STA对精度提升明显。
上述科研成果也在PAI产品的各个模块进行了深度的集成和整合持续为PAI客户提供AI模型训练相关服务。其中BeautifulPrompt技术已经作为SD WebUI的可扩展插件和PAI-EAS在线推理服务进行集成使得PAI客户在5分钟内就可以在PAI-EAS上一键部署SD WebUI使用各种AIGC文图生成功能。此外PAI-QuickStart也集成了超过20个热门大语言模型及其多种训练和推理方式使客户更加简单地微调和部署大语言模型。在未来我们也将在PAI平台上持续提供业界领先的算法和模型能力给广大客户。
论文信息
论文标题BeautifulPrompt: Towards Automatic Prompt Engineering for Text-to-Image Synthesis 论文作者曹庭锋、汪诚愚、刘冰雁、吴梓恒、朱金辉、黄俊
论文pdf链接https://arxiv.org/abs/2311.06752 论文标题Learning Knowledge-Enhanced Contextual Language Representations for Domain Natural Language Understanding 论文作者徐如瑶、张涛林、汪诚愚、段忠杰、陈岑、邱明辉、程大伟、何晓丰、钱卫宁
论文pdf链接https://arxiv.org/abs/2311.06761 论文标题From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models 论文作者严俊冰、汪诚愚、张涛林、何晓丰、黄俊、张伟
论文pdf链接https://arxiv.org/abs/2311.06754 论文标题Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for Cross-Lingual Machine Reading Comprehension 论文作者曹庭锋、汪诚愚、谭传奇、黄俊、朱金辉
论文pdf链接https://arxiv.org/abs/2311.06758
