flash手机网站制作,网站建设制作专业,车票制作图片的软件,新河镇网站制作Meta今日宣布推出其最新一代尖端开源大型语言模型Llama 3。该模型预计很快将在多个领先的云服务平台上线#xff0c;包括AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM和Snowflake。
Llama 3模型得到了AMD、AWS、Dell、In…
Meta今日宣布推出其最新一代尖端开源大型语言模型Llama 3。该模型预计很快将在多个领先的云服务平台上线包括AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM和Snowflake。
Llama 3模型得到了AMD、AWS、Dell、Intel、NVIDIA和Qualcomm等硬件平台的大力支持。Meta表示他们致力于负责任地开发和推广Llama 3为此引入了多项新的信任与安全工具例如Llama Guard 2、Code Shield和CyberSec Eval 2。
在接下来的几个月中Meta计划引入多项新功能提供更长的上下文窗口、更多的模型尺寸选择并进一步提升性能。此外Meta还计划发布有关Llama 3的研究论文以分享其技术细节和成就。
Llama 3技术使Meta AI成为全球领先的AI助手之一旨在通过学习、完成任务、创造内容及更多方式增强用户智能和减轻负担。用户现已能够体验Meta AI的服务。
Meta同时推出了Llama 3的两个版本包括预训练和指令微调的语言模型分别具有8B和70B的参数以支持广泛的应用场景。该模型在各种行业基准测试中展示了卓越性能并引入了改进的推理功能。Meta坚信这些都是目前最优秀的同类开源模型。
为了维护开放和共享的精神Meta已将Llama 3交由社区使用期望激发AI技术在整个技术堆栈中的创新从应用开发到开发者工具再到评估和推理优化等。Meta热切期待看到社区使用Llama 3取得的成果并希望收到广泛的反馈。
尽早并频繁发布的策略
Meta已设定其新一代开源大型语言模型Llama 3的发展目标旨在建构能够与当前市场上顶尖的专有模型竞争的优秀模型。公司计划依据开发者社区的反馈来增强Llama 3的整体实用性并持续在负责任地使用和部署大型语言模型的领域中发挥领导作用。
为了贯彻开源精神Meta采取了尽早并频繁发布的策略确保社区在模型仍在开发阶段时即可访问和使用这些工具。作为Llama 3系列的首款产品今天发布的模型主要基于文本处理。
Meta的近期计划包括扩展Llama 3的功能使其支持多语言和多模态输入并提供更长的上下文理解能力。此外公司还致力于在模型的核心功能如推理和编程上持续提升性能以满足更广泛的应用需求。
显著的性能提升
Meta的最新8B和70B参数模型Llama 3在先前版本Llama 2的基础上实现了显著的性能提升设定了大型语言模型的新标准。这两个模型通过预训练和训练后的改进已成为同类规模中的领先者。 具体来说这些模型在减少错误拒绝率、提高对齐度以及增加模型响应多样性方面实现了显著的进步。 此外Meta还大幅提升了模型在推理、代码生成和指令遵循等关键功能上的能力进一步增强了Llama 3的指导性和实用性。 庞大的训练数据集
为了开发出卓越的语言模型Meta投入了大量资源以策划一个庞大且高质量的训练数据集这是培养成功的语言模型的关键因素。Llama 3模型在预训练阶段使用了超过15T的令牌这些令牌均来自公开可获取的数据源。相比于Llama 2, Llama 3使用的训练数据集增加了七倍其中包含的代码量也增加到了四倍。
为了满足即将推出的多语言用例Llama 3的预训练数据集中超过5%的内容是覆盖30多种语言的高质量非英语数据。尽管如此开发团队并不期望这些非英语语言的性能能完全与英语相匹敌。
为了确保Llama 3在最优质的数据上进行训练Meta开发了一系列数据过滤管道包括启用启发式过滤器、不适宜工作内容(NSFW)过滤器、语义去重技术以及用于预测数据质量的文本分类器。值得一提的是先前版本的Llama模型在识别高质量数据方面表现卓越因此Meta利用Llama 2生成了推动Llama 3的文本质量分类器的训练数据。
通过广泛的实验评估混合不同来源数据的最佳方式Meta能够选择一个优化的数据组合确保Llama 3在多种应用场景中如小知识点问题、科学技术工程数学STEM、编程和历史知识等都能有出色的表现。
扩大训练规模
在Meta的最新Llama 3模型开发过程中公司为了有效地利用其庞大的预训练数据集投入了大量资源扩大训练规模。这包括制定一系列详细的下游基准评估规模法则以选择最佳数据组合并做出明智的计算资源分配决策。这些规模法则还使公司能够预测最大模型在关键任务上的表现如基于HumanEval基准的代码生成这些预测在实际训练模型前已经进行。
在开发Llama 3的过程中Meta观察到几个新的规模行为模式。例如尽管8B参数模型的最佳训练计算量对应于大约200B个令牌但模型性能随着训练量增加至两个数量级后仍然在提高。公司的8B和70B参数模型在训练达到15T令牌后性能持续呈对数线性提升。大型模型虽然可以用较少的训练计算匹配较小模型的性能但较小模型由于在推理过程中更高的效率通常更受青睐。
为了优化其最大的Llama 3模型Meta结合了数据并行化、模型并行化和流水线并行化三种类型的并行化策略。在使用高达16K GPU进行训练时其最高效的实现计算利用率超过400 TFLOPS每GPU。此外Meta在两个定制构建的24K GPU集群上进行了训练。为了最大化GPU运行时间公司开发了一个先进的训练堆栈能够自动检测、处理和维护错误并且显著提高了硬件可靠性和静默数据腐败检测机制。新的可扩展存储系统减少了检查点和回滚的开销这些改进使整体有效训练时间超过95%将Llama 3的训练效率提高了约三倍。
指令微调
在开发Llama 3模型的过程中Meta采用了创新的指令微调技术以最大化其预训练模型在聊天应用场景中的效能。该公司的微调方法包括监督式微调SFT、拒绝采样、邻近策略优化PPO以及直接策略优化DPO。特别是在SFT中使用的提示和在PPO及DPO中使用的偏好排名对模型性能的提升有着显著影响。
Meta对这些数据进行了精心策划并对人类注释员提供的注释进行了多轮质量保证这些都是模型质量提升的关键因素。通过PPO和DPO学习偏好排名Llama 3在推理和编程任务上的表现也得到了显著提高。公司观察到当模型面对难以回答的推理问题时它有时能够生成正确的推理轨迹即模型知道如何得出正确答案但之前不知道如何选取它。通过偏好排名的训练模型学会了如何选取正确的答案从而提高了整体性能和应用效果。
与Llama 3共建
在最近的Llama 3发布中Meta推出了新的信任与安全工具旨在使开发者能够更容易地定制Llama 3以支持相关用例并推动最佳实践和开放生态系统的改进。这些工具包括带有Llama Guard 2和Cybersec Eval 2的更新组件以及新引入的Code Shield一个用于过滤生成的不安全代码的推理时保护装置。
此外Meta还与torchune合作开发了Llama 3这是一个全新的PyTorch原生库旨在简化编写、微调和实验大型语言模型LLMs的过程。torchune库提供了内存高效且易于修改的训练配方完全使用PyTorch编写。该库已与Hugging Face、Weights Biases和EleutherAI等流行平台集成并支持Executorch以便在各种移动和边缘设备上高效运行推理。
Meta提供了全面的入门指南从下载Llama 3开始覆盖提示工程和与LangChain的集成指导开发者在生成式AI应用中进行规模部署。这一系列工具和资源旨在增强Llama 3的可定制性和易用性同时确保其在各种应用场景中的安全性和效率。
负责任的部署
Meta在设计其最新的Llama 3模型时采取了一种系统级的方法旨在确保其模型不仅在行业中以负责任的方式部署同时也能最大限度地提供帮助。公司视Llama模型为更广泛系统的一部分使开发者能够根据自己的独特目标设计系统将Llama模型作为核心组成部分。 在确保模型安全性方面指令微调发挥了关键作用。Llama 3的指令微调模型已经通过了一系列内部和外部的红队安全测试这些测试包括由人类专家和自动化系统执行的对抗性提示生成以诱发并识别潜在的问题响应。例如Meta对模型在化学、生物和网络安全等高风险领域的误用进行了全面测试这些测试旨在评估和减少滥用风险。
此外Llama Guard模型被设计为一个安全提示和响应的基础框架可以根据具体应用需求进行灵活微调创建新的分类法。最新的Llama Guard 2采用了最近宣布的MLCommons分类法支持这一重要行业标准的发展。同时CyberSecEval 2在其前身基础上进行了扩展增加了对LLM的安全性能评估包括防止其代码解释器被滥用、网络安全能力被恶意利用和对提示注入攻击的抵抗力。
最后Meta引入了Code Shield增强了对推理时过滤不安全代码的支持提供了围绕不安全代码建议、代码解释器滥用预防和安全命令执行的风险缓解措施。这些努力的详细描述可在公司发布的模型卡和技术论文中找到。
全球范围的部署
Llama 3模型即将在全球范围内的所有主要平台上推出包括各大云服务提供商和模型API提供商预计将实现广泛的可访问性。
根据Meta的基准测试Llama 3的新标记器在令牌效率上有显著提升与前代模型Llama 2相比令牌使用量减少了多达15%。此外群组查询注意力GQA技术已被整合到Llama 3的8B版本中。尽管Llama 3的参数量比Llama 2的7B版本多出1B但得益于标记器效率的提升和GQA的添加Llama 3保持了与Llama 2相当的推理效率。
对于希望了解如何利用这些新功能的开发者Meta推荐查阅Llama Recipes这是一系列包含从微调到部署再到模型评估各个环节的开源代码示例旨在帮助用户最大化Llama 3模型的应用潜力。
Meta的未来计划
Meta的新语言模型Llama 3已经发布了其8B和70B参数版本这只是该公司为Llama 3计划发布的众多内容的开始。Meta还计划在未来几个月推出多个功能更加丰富的模型包括多模态性、多语言对话能力、更长的上下文窗口以及更强大的总体性能。其中最大的模型已经达到了400B参数虽然这些模型仍在训练中但Meta团队对其发展趋势表示非常期待。 一旦Llama 3的开发和训练完成Meta还计划发布一篇详细的研究论文以深入介绍这些模型的技术和性能。为了让公众提前了解这些模型的当前状态Meta提供了一些关于其最大语言模型LLM的发展趋势的快照尽管需要注意这些数据基于目前仍在训练中的Llama 3的早期检查点并且今天发布的模型尚未支持这些新功能。
Meta强调他们致力于持续发展和开发一个开放的AI生态系统并负责任地发布其模型。公司一直认为开放性能够带来更优质、更安全的产品加速创新并促进市场的整体健康。这种策略不仅对Meta有利对整个社会同样有益。目前Llama 3已在全球领先的云平台、托管服务和硬件平台上提供并且未来将会有更多的扩展。
