外贸婚纱网站 侵权,as3 xml 网站模板 下载,html视频教程全集,做网站的照片要多大像素【深度学习#xff1a;MPT-30B】提高开源基础模型的标准 MPT-30B家族MPT-30B (Base)MPT-30B-InstructMPT-30B-Chat使用 MosaicML Inference 部署 MPT-30B 模型通过 MosaicML 培训定制 MPT-30BLLM Foundry 下一步是什么#xff1f; 附录致谢数据MPT-30B 8k 上下文窗口微调数据… 【深度学习MPT-30B】提高开源基础模型的标准 MPT-30B家族MPT-30B (Base)MPT-30B-InstructMPT-30B-Chat使用 MosaicML Inference 部署 MPT-30B 模型通过 MosaicML 培训定制 MPT-30BLLM Foundry 下一步是什么 附录致谢数据MPT-30B 8k 上下文窗口微调数据MPT-30B-指令微调数据MPT-30B-聊天微调数据 评估Falcon 代码评估免责声明 隆重推出 MPT-30B它是我们开源模型基础系列中功能更强大的新成员在 NVIDIA H100 Tensor Core GPU 上使用 8k 上下文长度进行训练。 在这里尝试 HuggingFace 上的 MPT-30B-Chat 自 5 月份推出 MPT-7B 以来ML 社区热切地接受开源 MosaicML 基础系列模型。 MPT-7B 基础、-Instruct、-Chat 和 -StoryWriter 模型的总下载量已超过 300 万次
我们对社区使用 MPT-7B 构建的内容感到不知所措。强调几个LLaVA-MPT 为 MPT 添加了视觉理解GGML 在 Apple Silicon 和 CPU 上优化 MPTGPT4All 允许您使用 MPT 作为后端模型在笔记本电脑上运行类似 GPT4 的聊天机器人。
今天我们很高兴通过 MPT-30B 扩展 MosaicML 基础系列MPT-30B 是一种获得商业用途许可的新型开源模型其功能明显比 MPT-7B 更强大并且性能优于原始的 GPT-3。此外我们还发布了两个经过微调的变体MPT-30B-Instruct 和 MPT-30B-Chat它们构建在 MPT-30B 之上分别擅长单轮指令跟踪和多轮对话。
所有 MPT-30B 模型都具有与其他 LLM 不同的特殊功能包括训练时的 8k 令牌上下文窗口、通过 ALiBi 支持更长的上下文以及通过 FlashAttention 实现高效的推理 训练性能。由于其预训练数据混合MPT-30B 系列还具有强大的编码能力。该模型已扩展到 NVIDIA H100 GPU 上的 8k 上下文窗口使其据我们所知成为第一个在 H100 GPU 上训练的法学硕士现在可供 MosaicML 客户使用
MPT-30B 的尺寸也经过专门选择以便轻松部署在单个 GPU 上 - 1x NVIDIA A100-80GB16 位精度或 1x NVIDIA A100-40GB8 位精度。其他类似的 LLM例如 Falcon-40B具有更大的参数数量并且无法在单个数据中心 GPU 上提供服务目前这需要 2 个以上的 GPU从而增加了最低推理系统成本。
如果您想开始在生产中使用 MPT-30B可以通过多种方法使用 MosaicML 平台对其进行自定义和部署。 MosaicML 培训。 通过微调、特定领域预训练或从头开始训练使用您的私人数据定制 MPT-30B。您始终拥有最终模型权重并且您的数据永远不会存储在我们的平台上。定价按 GPU 分钟计算。 MosaicML 推理。 使用我们的 Python API 与我们托管的 MPT-30B-Instruct和 MPT-7B-Instruct端点进行对话并按每 1K 代币的标准定价。
我们很高兴看到我们的社区和客户接下来使用 MPT-30B 构建什么。要了解有关模型以及如何使用 MosaicML 平台自定义模型的更多信息请继续阅读
MPT-30B家族
Mosaic Pretrained Transformer (MPT) 模型是 GPT 风格的仅解码器变压器具有多项改进包括更高的速度、更高的稳定性和更长的上下文长度。得益于这些改进客户可以有效地训练 MPT 模型 (40-60% MFU)而不会偏离损失峰值并且可以通过标准 HuggingFace 管道和 FasterTransformer 为 MPT 模型提供服务。
MPT-30B (Base)
MPT-30B是商业Apache 2.0许可的开源基础模型其质量超过了GPT-3来自原始论文并且与LLaMa-30B和Falcon-40B等其他开源模型具有竞争力。
使用我们公开提供的 LLM Foundry 代码库我们在 2 个月的时间内训练了 MPT-30B随着硬件可用性的变化在多个不同的 NVIDIA A100 集群之间进行转换平均 MFU 46%。 6 月中旬在我们从 CoreWeave 收到第一批 256 个 NVIDIA H100 GPU 后我们将 MPT-30B 无缝移动到新集群以恢复平均 MFU 35% 的 H100 训练。据我们所知MPT-30B 是第一个在 H100 GPU 上部分训练的公共模型我们发现每个 GPU 的吞吐量增加了 2.44 倍并且我们预计随着 H100 软件的成熟这种加速也会增加。
如前所述MPT-30B 使用 8k 个 token 的长上下文窗口进行训练LLaMa 和 Falcon 为 2k并且可以通过 ALiBi 或微调处理任意长的上下文窗口。为了有效地在 MPT-30B 中构建 8k 支持我们首先使用 2k 令牌长的序列对 1T 令牌进行预训练并使用 8k 令牌长的序列继续训练额外的 50B 令牌。
MPT-30B 预训练使用的数据组合与 MPT-7B 非常相似有关详细信息请参阅 MPT-7B 博客文章。对于 2k 上下文窗口预训练我们使用来自与 MPT-7B 模型相同的 10 个数据子集的 1T 标记表 1但比例略有不同。 表 1MPT-30B 预训练的数据组合。我们从 10 个不同的开源文本语料库中收集了 1T 个预训练数据 token。我们使用 EleutherAI GPT-NeoX-20B 分词器对文本进行分词并根据上述比率进行采样。 对于 8k 上下文窗口微调我们从用于 2k 上下文窗口预训练的相同 10 个子集创建了两个数据混合图 1。第一个 8k 微调组合与 2k 预训练组合类似但我们将代码的相对比例增加了 2.5 倍。为了创建第二个 8k 微调组合我们将其称为“长序列”组合我们从 10 个预训练数据子集中提取了长度≥ 4096 个标记的所有序列。然后我们对这两种数据混合的组合进行微调。有关 8k 上下文窗口微调数据的更多详细信息请参阅附录。 图 18k 上下文窗口微调的数据子集分布。对于 8k 上下文窗口微调我们采用每个数据子集并提取具有 ≥ 4096 个标记的所有样本以创建新的“长序列”数据混合。然后我们对长序列和原始数据混合的组合进行微调。 在图2中我们测量了这六大核心能力发现MPT-30B在各个方面都比MPT-7B有显着提升。在图 3 中我们对类似大小的 MPT、LLaMa 和 Falcon 模型进行了相同的比较。总体而言我们发现不同系列的 7B 型号非常相似。但 LLaMa-30B 和 Falcon-40B 的文本能力略高于 MPT-30B这与它们较大的预训练预算是一致的
MPT-30B FLOPs ~ 6 * 30e9 [参数] * 1.05e12 [令牌] 1.89e23 FLOPsLLaMa-30B FLOPs ~ 6 * 32.5e9 [params] * 1.4e12 [tokens] 2.73e23 FLOPs 多1.44倍Falcon-40B FLOPs ~ 6 * 40e9 [参数] * 1e12 [令牌] 2.40e23 FLOps 1.27 倍以上
另一方面我们发现 MPT-30B 在编程方面明显更好这归功于其包含大量代码的预训练数据混合。我们在表 2 中进一步深入探讨了编程能力其中我们将 MPT-30B、MPT-30B-Instruct 和 MPT-30B-Chat 的 HumanEval 分数与现有开源模型包括为代码生成而设计的模型进行了比较。我们发现 MPT-30B 模型的编程能力非常强MPT-30B-Chat 的性能优于除 WizardCoder 之外的所有模型。我们希望这种文本和编程功能的结合将使 MPT-30B 模型成为社区的流行选择。
最后在表 3 中我们展示了 MPT-30B 如何在原始 GPT-3 论文中提供的较小评估指标集上优于 GPT-3。最初发布后大约 3 年我们很自豪能够以更小的模型GPT-3 参数的 17%和显着更少的训练计算GPT-3 FLOPs 的 60%超越这个著名的基线。
如需更详细的评估数据或者如果您想重现我们的结果您可以在此处查看我们在 LLM Foundry 评估工具中使用的原始数据和脚本。请注意我们仍在完善 HumanEval 方法并将很快通过 Composer 和 LLM-Foundry 发布。 图 2 -MPT-7B 与 MPT-30B。我们的新 MPT-30B 型号比之前的 MPT-7B 型号有了显着改进 图 3 - MPT、LLaMa 与 Falcon 模型。左比较具有 70 亿个参数的模型。右图比较具有 30 到 400 亿个参数的模型。 表 2MPT-30B 模型的零样本精度pass 1与 HumanEvalPython 编码问题语料库上的通用和 GPT 蒸馏代码生成模型的比较。我们发现 MPT-30B 模型的性能大幅优于 LLaMa-30B 和 Falcon-40B甚至优于许多专用编码模型例如 StarCoder。有关 Falcon-40B-Instruct 和 Falcon-40B 的免责声明请参阅附录。外部来源[1]、[2]、[3]、[4]、[5] 表 3MPT-30B 与 GPT-3 在九项情境学习 (ICL) 任务上的零样本准确率。我们发现 MPT-30B 在九个指标中的六个指标上优于 GPT-3。 GPT-3 编号是从原始论文中复制的。 MPT-30B-Instruct 图 4MPT-30B-Instruct 的示例指令和完成。 LLM 预训练教导模型根据提供的输入继续生成文本。但在实践中用户希望法学硕士将输入视为要遵循的说明。指令微调是训练法学硕士遵循指令的过程。通过减少对巧妙提示工程的依赖指令微调使法学硕士更容易获得、直观且立即可用。指令微调的进展是由 FLAN、P3、Alpaca 和 Dolly-15k 等开源数据集推动的。
我们创建了一个商业可用的、遵循指令的模型变体称为 MPT-30B-Instruct。我们喜欢 Dolly 的商业许可但我们想添加更多训练数据因此我们使用 Anthropic 的 Helpful Harmless 数据集的子集来增强 Dolly将数据集大小加倍同时保留商业 CC-By-SA-3.0 许可。然后为了利用 MPT-30B 的 8,192 个 token 上下文长度我们使用一些开源数据集进一步增强了数据CompetitionMath、GradeSchoolMath、DialogSum、DuoRC、QASPER、QuALITY、SummScreen 和 Spider。
这个新的指令跟踪数据集是对我们用于训练 MPT-7B-Instruct 的数据集的改进我们计划在不久的将来发布更新的 MPT-7B-Instruct-v2使其与 MPT-30B 持平-指导。
MPT-30B-Chat 图 5与 MPT-30B-Chat 的示例对话。 我们还创建了 MPT-30B-Chat这是 MPT-30B 的对话版本。 MPT-30B-Chat 已经在大量聊天数据集上进行了微调确保它为各种对话任务和应用程序做好了准备。组合微调数据集由 15.4 亿个 token 组成模型训练了 6 个 epoch。数据集采用ChatML格式提供了一种便捷、标准化的方式将系统消息传递给模型有助于防止恶意提示注入。
MPT-30B-Chat 是一个研究工件不适合商业用途因此我们相应地使用了非商业 CC-By-NC-SA-4.0 许可证。我们发布它是因为它展示了 MPT-30B 与大型、高质量微调数据集结合时的强大功能。
尽管被训练为通用会话模型MPT-30B-Chat 的编程能力也令人惊讶在 HumanEval 上得分为 37.2%这使得它凌驾于WizardCoder 之外的几乎所有开源模型之上。更多详情请参见上表2
使用 MosaicML Inference 部署 MPT-30B 模型
随着 MosaicML 推理服务的推出我们为 MPT 和 Llama 等开源模型提供低延迟、高吞吐量的托管。您可以使用我们的推理软件堆栈在 MosaicML 硬件或您自己的私有硬件上为这些模型提供服务。借助 MosaicML Inference您可以向 MosaicML 托管的端点发送 MPT-7B-Instruct、MPT-30B-Instruct 以及其他开源文本生成和嵌入模型的 API 请求。这些端点按代币定价并且比相同质量的同类 OpenAI API 便宜得多见图 6。 MosaicML Inference 是快速制作人工智能功能原型的绝佳选择。如果可以接受与第三方 API 共享数据那么它也可能是一个合适的选择。 图 6使用 MosaicML Inference 查询 MPT-30B 或 MPT-7B 模型比使用 OpenAI API 便宜 4 倍并且质量相当。 通过 MosaicML 培训定制 MPT-30B
MPT-30B 具有开箱即用的强大生成能力。但为了在特定任务中获得最佳性能我们建议对您的私人数据进行微调 MPT-30B。这个过程可以在几个小时内完成只需几百美元。
对于更高级的用例例如自定义语言、自定义域例如 Replit 的代码生成模型或自定义任务长文档问答您可以通过添加特定于域的预训练或从头开始训练自定义模型。
LLM Foundry
为了使自定义语言模型的训练尽可能简单我们将可用于生产的训练代码开源为 LLM Foundry。这与我们的 NLP 团队用于构建 MPT-7B 和 MPT-30B 的代码库完全相同。该存储库使用 Composer、StreamingDataset 和 FSDP 在任意数量的 GPU 上训练任意大小的自定义模型。它还可以直接从您的私有对象存储流式传输数据并轻松将模型导出到 HuggingFace、ONNX 或 FasterTransformer。 LLM Foundry 已经在云端 A100 和 H100 上经过了实际考验我们正在快速增加对更多硬件选项的支持。
LLM Foundry 还包括用于根据标准评估指标和/或自定义数据评估模型的脚本。得益于我们的多 GPU 和 FSDP 支持评估速度非常快 - 您可以在几分钟内离线测量评估指标甚至可以在训练期间实时测量评估指标从而为您提供有关模型性能的即时反馈。
无论您想要进行小型微调运行还是从头开始训练大型模型LLM Foundry 都能高效处理所有这些工作负载。查看我们的公开训练表现和推理表现表
作为 MosaicML 的客户您还可以访问最新的配方以确保您的训练运行稳定无损失峰值以及我们的 MCLI 编排软件。后者可以优雅地处理硬件故障和自动恢复这样您就不会浪费计算或需要照顾您的运行。
下一步是什么
准备好试用我们的新型 MPT-30B 系列了吗请注意我们的 Foundation 系列模型完全受 MosaicML 平台支持为您提供工具和专业知识以便您在选择的安全云上轻松高效地构建、定制和部署。在此处注册演示。请继续关注我们的基础系列中的更多型号
附录
致谢
我们衷心感谢 OCI 的朋友他们托管了我们用来完成 MPT-30B 初级训练阶段的 NVIDIA A100 GPU。
我们还要衷心感谢 CoreWeave 的朋友他们托管了我们用来完成 MPT-30B 8k 上下文训练阶段的 NVIDIA H100 GPU并在我们加快新 GPU 架构的速度时为我们提供了支持。
我们还衷心感谢 AI2 的朋友他们在我们开发 MPT 系列模型时分享了非常宝贵的技术专业知识。
数据
MPT-30B 8k 上下文窗口微调数据
对于 8k 上下文窗口微调我们采用每个数据子集并提取具有至少 4096 个标记的所有样本以创建新的“长序列”数据混合。然后我们对长序列和原始数据混合的组合进行微调。 MPT-30B-指令微调数据 MPT-30B-聊天微调数据
聊天微调数据。请注意每个标记出现了 6 次。这些代币计数包括提示及其目标响应因此并非所有 1.54B 代币都会产生损失。 评估 MPT-30B 与我们的代码评估套件上的开源模型。我们在代码提示的 HumanEval 数据集上测试每个模型使用零样本评估和使用 pass1 指标的基准测试或者仅允许生成一个可能的代码延续时模型通过的测试用例的百分比。我们还提供引用的外部值来验证我们内部代码评估套件的可复制性该套件将在 Composer/LLM-Foundry 的未来版本中作为开源发布。
Falcon 代码评估免责声明
在我们的评估框架中Falcon-40B 和 Falcon-40B-Instruct 似乎是类似大小模型中的异常值。虽然我们的大多数自我评估分数与外部结果相匹配但我们的 Falcon-40B-Instruct 通过率明显低于 WizardCoder 中报告的通过率。我们对所有模型使用相同的提示和 LLM Foundry 评估工具。如果您对如何更好地提示/使用Falcon-40B或更多我们可以参考的外部HumanEval分数有建议请联系我们
