河南第一火电建设公司网站,建设评标专家在哪个网站,关键词推广网站,网站如何做电脑和手机软件阅读笔记
模型选择#xff1a;是否一定要选择参数量巨大的模型#xff1f;如果需要更好的泛化能力#xff0c;用于处理非单一的任务#xff0c;例如对话#xff0c;则可用选更大的模型#xff1b;而对于单一明确的任务#xff0c;则不一定越大越好#xff0c;参数小一…阅读笔记
模型选择是否一定要选择参数量巨大的模型如果需要更好的泛化能力用于处理非单一的任务例如对话则可用选更大的模型而对于单一明确的任务则不一定越大越好参数小一些的模型也能调教得很好。 接口交互大语言模型可以使用网络请求接口获取其本身在预训练中没有的额外信息。
多模态大语言模型展现出良好的多模态理解能力特别是对于图片数据的处理能力。因此其对于一个网络中拓扑结构、流量矩阵等数据也是存在了可以理解和处理的可能的。
语言如何输入自然语言首先需要被tokenize从而将其用数字进行表示使其可以正式输入模型。在输入模型后还会进行词嵌入表示或者是词的分布式表示也就是进一步用多维向量表示一个词。词嵌入并非Transformer首创此前的工作中已经在广泛使用词嵌入方法了大名鼎鼎的Word2Vec就是其中一种。
“预训练和微调”学习范式预训练是从CV兴起而后借鉴到NLP的一种训练方法通常是无监督的。对于PLM通常使用大量语料进行预训练其过程无需人工标记而是利用已有的词句信息对某一词进行预测。微调是指在PLM的基础上进一步根据下游子任务的要求对PLM进行更具针对性的有监督训练包括对齐并更新参数使其适应子任务。微调主要分为指令微调和对齐微调。对于一些领域的子任务PLM甚至无需微调也能依靠自身的上下文学习能力达到不错的效果。
与人类对齐由于预训练数据不可避免参杂与主流价值观不符的内容模型需要与人类价值观或偏好进行对齐以减少危害并增加性能。相关工作利用带人类反馈的强化学习RLHF进行微调对齐。
扩展与扩展法则语言模型在模型规模、数据规模和总计算量上的扩展一般会使模型具备更好的特性与理解输出能力并更可能涌现能力包括上下文学习、指令遵循、逐步推理等。LLMs由于规模扩展而产生的影响的现象成为扩展效应有相关研究定量描述了LLMs的扩展法则。
代码数据训练提高CoT提示能力Codex是在PLM基础上使用大量Github代码微调的GPT模型可以解决困难的编程问题并在数学问题上有显著性能提升猜测称代码训练可提高其思维链(CoT)提示能力。
LLMs资源LLMs的预训练需要耗费大量资源微调更新权重也很消耗建议在已有开源资源基础上进行开发包括开源模型和公共API可微调以及公开语料库详细信息下面四张图总结得很好。 模型训练预训练阶段的任务通常有语言建模和去噪自编码语言建模任务针对不同模型结构因果解码器casual decoder、前缀解码器prefix decoder等有不同任务变体。此外训练LLM时最为重要的便是设置和技巧。 训练中动态增大batch size以有效稳定LLM训练过程 动态学习率策略如初始采用线性增加预热策略后续采用余弦衰减策略 使用权重衰减和梯度裁剪来稳定训练避免模型崩溃。 采用数据并行、流水线并行、张量并行、ZeRO和混合精度训练等方法在有限资源情况下进行高效的并行化训练。
RLHF用于微调在有监督微调结束后可以应用基于人类反馈的强化学习来进行对齐微调更好地学习人类偏好。其中较为关键的我认为有两方面一方面是奖励模型相关工作使用有标注数据有监督地训练一个奖励模型预测人类偏好另一方面是将LLM的微调形式化为强化学习问题。
LLM使用经过预训练或微调后模型的使用也别有学问OpenAI的报告中大量做了这方面的文章。较为著名的使用策略有上下文学习和思维链提示。
LLM评估主流的评估方法是在公共NLP任务数据集上进行测试评估。而专用于网络配置或是其他类似子任务的公共数据集暂时没有看到。因此这方面的评估需要进一步的设计和探讨。
LLM主要问题在语言生成方面其可控生成和专业化生成能力仍然面临挑战例如在一般类型数据集训练的LM用于涉及专业知识的医学报告时。在知识利用方面LM存在幻觉和知识实时性问题。前者表示LM会捏造事实后者表示LM难以处理需要更新鲜知识的任务。在复杂推理方面LM存在不一致性和数值计算问题。前者表示LM的推理路径与结果并不一致后者表示LM的数值计算能力仍然有待提高。
个人感想
此篇论文很好地揭示了LLM在结构、预训练、微调、评估等等诸多方面的细节。但由于技术日新月异比较遗憾地是没有看到更新的关于多模态方面的介绍。LLM的训练与微调有资源门槛但有公开的模型可通过API进行微调这一点可以考虑加以利用。
