网站开发开发需求,高性能网站建设指南在线阅读,影视会员网站怎么建设,手机wap建站Llama3简介#xff1a;
llama3是一种自回归语言模型#xff0c;采用了transformer架构#xff0c;目前开源了8b和70b参数的预训练和指令微调模型#xff0c;400b正在训练中#xff0c;性能非常强悍#xff0c;并且在15万亿个标记的公开数据进行了预训练#xff0c;比ll…Llama3简介
llama3是一种自回归语言模型采用了transformer架构目前开源了8b和70b参数的预训练和指令微调模型400b正在训练中性能非常强悍并且在15万亿个标记的公开数据进行了预训练比llama2大了7倍距离llama2的开源发布仅仅过去了10个月llama3就强势发布一起来看一下他的使用方法。
在这里我经过查询Meta公布的4月15日的基准测试结果Llama 3 400B模型的表现已经持平Claude 3 Opus超过Gemini 1.5 Pro仅在数学部分落后于最先进的 GPT-4 Turbo 2024-04-09模型。 作为一个优秀团队的开源模型我们更重要的是知道如何使用它来减轻我们的负担提升我们学习完成任务创作内容的效率与准确率。
Llama3安装:
git clone 安装
Llama3的git地址是 https://github.com/meta-llama/llama3 可以直接git克隆到本地
git clone https://github.com/meta-llama/llama3然后在根目录运行
pip install -e .去metallama官网登录使用下载该模型 https://llama.meta.com/llama-downloads/ 注册登录,您将得到一个电子邮件的网址下载模型。当你运行下载时,你需要这个网址一旦你收到电子邮件,导航到你下载的骆驼存储库和运行下载。确保授予下载的执行权限。在此过程中,将提示您从邮件中输入URL。不要使用复制链接选项,而是要确保从电子邮件中手动复制链接 本地运行 torchrun --nproc_per_node 1 example_chat_completion.py \--ckpt_dir Meta-Llama-3-8B-Instruct/ \--tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \--max_seq_len 512 --max_batch_size 6注意事项: 替换 Meta-Llama-3-8B-Instruct/ 你的检查站目录的路径Meta-Llama-3-8B-Instruct/tokenizer.model 找到了你的标记器模型.…–nproc_per_node 我们应该把它放在你所使用的模型的价值。调整max_seq_len 和max_batch_size 必要时参数.这个例子运行了 example_chat_completion.py 在这个存储库中找到,但是你可以将它更改为不同的文件。根据你本身的硬件来调整max_seq_len 和max_batch_size参数
huggingface 平台下载
可以通过huggingface 平台下载(需要先进入huggingface平台申请同意它的条款)
然后先安装huggingface工具
pip install huggingface-hub然后指定meta-llama/Meta-Llama-3-8B-Instruct
huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include “original/*” --local-dir meta-llama/Meta-Llama-3-8B-Instruct然后transformer的使用
import transformers
import torch
model_id meta-llama/Meta-Llama-3-8B-Instruct
pipeline transformers.pipeline(text-generation,modelmeta-llama/Meta-Llama-3-8B-Instruct,model_kwargs{torch_dtype: torch.bfloat16},devicecuda,
)如果没有gpu的同学可以使用cpu devicecuda,计算性能会差一些
完整的使用方式:
import transformers
import torch
model_id meta-llama/Meta-Llama-3-8B-Instruct
pipeline transformers.pipeline(text-generation,modelmodel_id,model_kwargs{torch_dtype: torch.bfloat16},device_mapauto,
)
messages [{role: system, content: You are a pirate chatbot who always responds in pirate speak!},{role: user, content: Who are you?},
]
prompt pipeline.tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue
)
terminators [pipeline.tokenizer.eos_token_id,pipeline.tokenizer.convert_tokens_to_ids(|eot_id|)
]
outputs pipeline(prompt,max_new_tokens256,eos_token_idterminators,do_sampleTrue,temperature0.6,top_p0.9,
)
print(outputs[0][generated_text][len(prompt):])基于ollama使用
目前推荐使用ollama的8b70binstruct, text 其他量化模型是别的用户微调过的建议使用原生的llama3. 执行
ollama run llama3:instruct或者
ollama run llama3 ollama pull llama3:8b测试llama3的生成速度非常快至少是llama2的两倍如果有强大的显存支持效率会更高。
总结
llama3在llama2的基础上实现了质的飞跃已经超过chat3.5的性能并且他的预训练和微调是目前市面上开源的参数规模最好的不仅是对于开发者还有企业使用者这都是非常合适的一个模型。
下表显示了我们的评估结果与Claude Sonnet、Mistral Medium和GPT-3.5相比在这些类别和提示上的汇总结果 在未来的大模型道路上选择最优秀的模型往往是我们第一步需要考虑的事情。
