网站宽屏版,国际型网站建设,电子商务网站主要功能,做网站比较好的公司有哪些源#xff5c;新智元编#xff5c;Joey 昕朋今年五月#xff0c;MetaAI官宣发布了基于1750亿参数的超大模型OPT-175B#xff0c;还对所有社区免费开放。12月22日#xff0c;该模型的更新版本OPT-IML#xff08;Open Pre-trained Transformer#xff09;正式上线#xf…源新智元编Joey 昕朋今年五月MetaAI官宣发布了基于1750亿参数的超大模型OPT-175B还对所有社区免费开放。12月22日该模型的更新版本OPT-IMLOpen Pre-trained Transformer正式上线Meta称其「对2000个语言任务进行了微调包含1750 亿个参数」还将为非商业研究用途免费开放。这次更新的OPT-IML的性能表现如何先上两张图来看看。这次的OPT-IML创建了两种模型尺寸分别是30B和175B。与旧版OPT模型相比OPT-IML在14个标准NLP评估任务中的平均表现均优于OPT。在零次学习任务上两种模型大小分别好7%~ 和32-shot 任务分别好4%~ 和 0.4%~。在这项研究中研究人员描述了增加模型和基准大小如何影响指令调整决策对下游任务性能的影响。为此他们开发了 OPT-IML Bench这是一个相当大的指令元学习 (IML) 基准包含2000个NLP任务这些任务根据现有的八个基准分为任务类别。为训练OPT-IML 30B和175B研究人员首先从该框架的角度对应用于 OPT-30B 的指令调优决策提出了见解。在具有不同目标和输入格式的四个评估基准PromptSource、FLAN、Super-NaturalInstructions 和 UnifiedSKG上OPT-IML 在两个尺度上展示了所有三种泛化技能。它不仅在所有基准测试中显著优于OPT而且以极具竞争力的方式优于针对该特定基准优化的现有模型。此外OPT-IML已经开源Github链接小编也放在下面啦~Github链接:https://github.com/facebookresearch/metaseq/tree/main/projects/OPT-IML接下来通过论文来一起了解一下OPT-IML。论文链接https://github.com/facebookresearch/metaseq/blob/main/projects/OPT-IML/optimal_paper_v1.pdf研究方法大型语言模型的指令微调已成为增强其零样本和少样本泛化能力的有效方法。在这项研究中Meta研究人员对指令微调进行了三项重要的补充。首先他们编译了一个大规模的指令微调基准其中包含来自八个数据集集合的2,000个NLP任务按任务类型分类。研究人员在此基准上有选择地构建评估拆分以测试三种不同类型的模型泛化能力包括来自完全保留类别的任务tasks from fully held-out categories、来自已见类型的保留任务held-out tasks from seen types以及来自已见任务的保留实例held-out instances from seen tasks。指令微调对模型进行微调以使它们与遵守说明保持一致是目前机器学习的研究方向之一。指令微调有两种方法。一种侧重于使用人工注释的指令和反馈对各种任务的模型进行微调另一种侧重于通过注释或自动向可公开访问的基准和数据集添加指令。在本研究中Meta AI成员专注于第二种技术并编译了许多可公开访问的数据集其中包含改进OPT的方法。研究过程中Meta成员使用来自四个基准的1836个任务提出了类似的缩放方法。最后在调整整个测试以突破具有挑战性的外部基准例如 MMLU 和 Big-Bench Hard (BBH)性能极限的同时研究人员描述了可能影响下游性能的各种指令调整策略的权值。多任务学习多任务学习是基于指令的微调 (MTL) 的一种表述。MTL 是一种流行的范例当与共享可比较参数或表示的类似函数结合使用时它可以提高任务的泛化性能。近年来MTL已应用于众多NLP场景主要侧重于通过利用来自相关活动的信号来提高训练任务或新领域的性能。相比之下基于指令的微调有助于我们提高对前所未见问题的泛化性能。它是通过指令将所有任务组合成一个概念并通过在所有任务上分配模型的权重来一起训练它们来实现的。什么是OPT大型语言模型即具有超过 1000 亿个参数的自然语言处理系统在过去几年中改变了NLP和AI研究。这些模型接受了大量不同文本的训练展现出令人惊讶的新能力可以生成创意文本、解决基本数学问题、回答阅读理解问题等等。虽然在某些情况下公众可以通过付费 API 与这些模型进行交互但完整的研究访问权限仍然仅限于少数资源丰富的实验室。这种受限访问限制了研究人员理解这些大型语言模型如何工作以及为何工作的能力阻碍了提高其鲁棒性和减轻偏见等已知问题的进展。出于对开放科学的承诺Meta AI于今年5月发布了Open Pretrained Transformer (OPT-175B)这是一个具有 1750 亿参数的模型在公共数据集上训练而成之所以共享这个模型Meta AI 希望更多的社区参与理解关于大模型的基本技术。简单来说Meta将用于人工智能研究的大型语言模型访问权限开放给大众从而实现大模型研究的人工智能民主化。与老版对比根据Meta现在发布的IML版本经过微调在自然语言任务上的表现比旧版OPT更好。典型的语言任务包括回答问题、总结文本和翻译。为了进行微调研究人员使用了大约2000个自然语言任务。这些任务分为八个NLP基准OPT-IML Bench研究人员也提供了这些基准。平均而言以30B和175B模型为例OPT-IML比OPT的零次学习准确度提高了约 6-7%。在32次学习中300亿参数的模型准确度有显著改进1750亿参数的模型有轻微改进。经过对比Meta团队发现OPT-IML的性能在所有基准测试上都优于OPT并且在零样本和少样本学习准确度方面比其他基于指令微调的模型更具有竞争力。后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群[1]https://the-decoder.com/opt-iml-meta-releases-open-source-language-model-optimized-for-tasks/[2]https://wandb.ai/telidavies/ml-news/reports/OPT-IML-Meta-Releases-New-Instruction-Tuned-OPT-Models-NLP-Task-Benchmark--VmlldzozMjAzMzc1
