网站建设 维护费用,微服务网站,电商运营推广怎么做,做网站怎么与客户谈判指令精调
指令精调阶段的任务形式基本与Stanford Alpaca相同。训练方案也采用了LoRA进行高效精调#xff0c;并进一步增加了可训练参数数量。在prompt设计上#xff0c;精调以及预测时采用的都是原版Stanford Alpaca不带input的模版。对于包含input字段的数据#xff0c;采…指令精调
指令精调阶段的任务形式基本与Stanford Alpaca相同。训练方案也采用了LoRA进行高效精调并进一步增加了可训练参数数量。在prompt设计上精调以及预测时采用的都是原版Stanford Alpaca不带input的模版。对于包含input字段的数据采用f{instruction}\n{input}的形式进行拼接。
其中Stanford Alpaca 格式如下所示
[{instruction : ...,input : ...,output : ...},...
]首先修改模型精调脚本run_sft.sh需要修改的参数如下
--model_name_or_path: 模型经过词表扩充并完成预训练进行权重合并之后所在的目录--tokenizer_name_or_path: Chinese-Alpaca tokenizer 所在的目录--dataset_dir: 指令精调数据的目录包含一个或多个以json结尾的Stanford Alpaca格式的指令精调数据文件--validation_file: 用作验证集的单个指令精调文件以json结尾同样遵循Stanford Alpaca格式--output_dir: 模型权重输出路径
dataset_dir./sft_dataset/train Chinese-LLaMA-Alpaca/data其他参数如per_device_train_batch_size、training_steps等是否修改视自身情况而定。 # 运行脚本前请仔细阅读wiki(https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/sft_scripts_zh)
# Read the wiki(https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/sft_scripts_zh) carefully before running the script
lr1e-4
lora_rank64
lora_alpha128
lora_trainableq_proj,v_proj,k_proj,o_proj,gate_proj,down_proj,up_proj
modules_to_saveembed_tokens,lm_head
lora_dropout0.05pretrained_model./merged_output_dir
chinese_tokenizer_path./merged_output_dir
dataset_dir./sft_dataset/train
per_device_train_batch_size1
per_device_eval_batch_size1
gradient_accumulation_steps8
max_seq_length512
output_dir./sft_output_dir
validation_file./sft_dataset/test/test.jsondeepspeed_config_fileds_zero2_no_offload.jsontorchrun --nnodes 1 --nproc_per_node 1 run_clm_sft_with_peft.py \--deepspeed ${deepspeed_config_file} \--model_name_or_path ${pretrained_model} \--tokenizer_name_or_path ${chinese_tokenizer_path} \--dataset_dir ${dataset_dir} \--per_device_train_batch_size ${per_device_train_batch_size} \--per_device_eval_batch_size ${per_device_eval_batch_size} \--do_train \--do_eval \--seed $RANDOM \--fp16 \--num_train_epochs 1 \--lr_scheduler_type cosine \--learning_rate ${lr} \--warmup_ratio 0.03 \--weight_decay 0 \--logging_strategy steps \--logging_steps 10 \--save_strategy steps \--save_total_limit 3 \--evaluation_strategy steps \--eval_steps 100 \--save_steps 200 \--gradient_accumulation_steps ${gradient_accumulation_steps} \--preprocessing_num_workers 8 \--max_seq_length ${max_seq_length} \--output_dir ${output_dir} \--overwrite_output_dir \--ddp_timeout 30000 \--logging_first_step True \--lora_rank ${lora_rank} \--lora_alpha ${lora_alpha} \--trainable ${lora_trainable} \--lora_dropout ${lora_dropout} \--modules_to_save ${modules_to_save} \--torch_dtype float16 \--validation_file ${validation_file} \--load_in_kbits 16 \--gradient_checkpointing \--ddp_find_unused_parameters False
run_clm_sft_with_peft.py 添加如下两行: 为了测试对数据进行了sample
# codingutf-8
import jsonwith open(alpaca_data_zh_51k.json, encodingUTF-8) as f:data json.load(f)print(len(data))
print(data[0])import random# 设置要划分的测试集大小
sample_size int(0.1 * (len(data)))# 随机选择测试集的元素
sample_set random.sample(data, sample_size)data sample_set
# 设置要划分的测试集大小
test_size int(0.1 * (len(data)))# 随机选择测试集的元素
test_set random.sample(data, test_size)# 构建训练集即剩下的元素
train_set [x for x in data if x not in test_set]print(训练集:, len(train_set))
print(测试集:, len(test_set))with open(train/train.json, w, encodingUTF-8) as f:json.dump(train_set, f, indent2, ensure_asciiFalse)with open(valid/test.json, w, encodingUTF-8) as f:json.dump(test_set, f, indent2, ensure_asciiFalse)
运行后输出 中文LLaMAAlpaca大语言模型词表扩充预训练指令精调 - 知乎 (zhihu.com)
