视觉中国的图片可以拿来做网站,WordPress纯代码标签页面,专门开发app的公司,电子科技技术支持东莞网站建设暑期实习基本结束了#xff0c;校招即将开启。不同以往的是#xff0c;当前职场环境已不再是那个双向奔赴时代了。求职者在变多#xff0c;HC 在变少#xff0c;岗位要求还更高了。提前准备才是完全之策。
最近#xff0c;我们又陆续整理了很多大厂的面试题#xff0c;帮…暑期实习基本结束了校招即将开启。不同以往的是当前职场环境已不再是那个双向奔赴时代了。求职者在变多HC 在变少岗位要求还更高了。提前准备才是完全之策。
最近我们又陆续整理了很多大厂的面试题帮助一些球友解惑答疑分享技术面试中的那些弯弯绕绕。
总结链接如下《大模型面试宝典》(2024版) 正式发布 大模型应该是目前当之无愧的最有影响力的AI技术它正在革新各个行业包括自然语言处理、机器翻译、内容创作和客户服务等等正在成为未来商业环境的重要组成部分。
截至目前大模型已经超过200个在大模型纵横的时代不仅大模型技术越来越卷就连大模型相关的岗位和面试也开始越来越卷了。
我总结了100道大模型算法岗位面试题含答案因篇幅限制完整版可以在我们社群获取
技术交流资料
技术要学会分享、交流不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。
成立了大模型算法技术交流群相关资料、技术交流答疑均可加我们的交流群获取群友已超过2000人添加时最好的备注方式为来源兴趣方向方便找到志同道合的朋友。 方式①、微信搜索公众号机器学习社区后台回复加群 方式②、添加微信号mlc2040备注来自CSDN 技术交流 内容如下
一、基础篇
1、目前主流的开源模型体系有哪些 Transformer体系由Google提出的Transformer 模型及其变体如BERT、GPT 等。 PyTorch Lightning一个基于PyTorch的轻量级深度学习框架用于快速原型设计和实验。 TensorFlow Model GardenTensorFlow官方提供的一系列预训练模型和模型架构。 Hugging Face Transformers一个流行的开源库提供了大量预训练模型和工具用于NLP 任务。
2、prefix LM 和 causal LM 区别是什么?
prefix LM (前缀语言模型)在输入序列的开头添加一个可学习的任务相关的前缀然后使用这个前缀
和输入序列一起生成输出。这种方法可以引导模型生成适应特定任务的输出。
causal LM (因果语言模型)也称为自回归语言模型它根据之前生成的 token 预测下一个token。在
生成文本时模型只能根据已经生成的部分生成后续部分不能访问未来的信息。
3、涌现能力是啥原因?
涌现能力 (Emergent Ability) 是指模型在训练过程中突然表现出的新的、之前未曾预料到的能力。这种现象通常发生在大型模型中原因是大型模型具有更高的表示能力和更多的参数可以更好地捕捉数据中的模式和关联。
随着模型规模的增加它们能够自动学习到更复杂、更抽象的概念和规律从而展现出涌现能力。
3、大模型LLM的架构介绍?
大模型LLM(Large Language Models) 通常采用基于Transformer的架构。Transformer模型由多个编码器或解码器层组成每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数可以处理大量的文本数据并在各种NLP任务中表现出色。
前馈神经网络 (Feedforward Neural Network) 是一种最基础的神经网络类型它的信息流动是单向的从输入层经过一个或多个隐藏层最终到达输出层。在前馈神经网络中神经元之间的连接不会形成闭环这意味着信号在前向传播过程中不会回溯。前馈神经网络的基本组成单元是神经元每个神经元都会对输入信号进行加权求和然后通过一个激活函数产生输出。激活函数通常是非线性的它决定了神经元的输出是否应该被激活从而允许网络学习复杂和非线性的函数。
前馈神经网络在模式识别、函数逼近、分类、回归等多个领域都有应用。例如在图像识别任务中网络的输入层节点可能对应于图像的像素值而输出层节点可能代表不同类别的概率分布。
训练前馈神经网络通常涉及反向传播 (Backpropagation) 算法这是一种有效的学习算法通过计算输出层的误差并将这些误差信号沿网络反向传播以调整连接权重。通过多次迭代这个过程网络可以逐渐学习如何减少输出误差从而实现对输入数据的正确分类或回归。
在设计和训练前馈神经网络时需要考虑多个因素包括网络的层数、每层的神经元数目、激活函数的选择、学习速率、正则化策略等这些都对网络的性能有重要影响。
4、目前比较受欢迎的开源大模型有哪些?
GPT系列由OpenAl开发的生成式预训练模型如 GPT-3。
BERT系列由Google开发的转换式预训练模型如BERT、RoBERTa等。
T5系列由Google开发的基于Transformer的编码器-解码器模型如T5、mT5等。
5、目前大模型模型结构都有哪些? Transformer基于自注意力机制的模型包括编码器、解码器和编码器-解码器结构。 GPT系列基于自注意力机制的生成式预训练模型采用解码器结构。 BERT系列基于自注意力机制的转换式预训练模型采用编码器结构。 T5系列基于Transformer的编码器-解码器模型。
6、prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?
7、模型幻觉是什么?业内解决方案是什么?模型幻觉是指模型在生成文本时产生的不准确、无关或虚构的信息。这通常发生在模型在缺乏足够信
8、大模型的Tokenizer的实现方法及原理?
9、ChatGLM3的词表实现方法?
10、GPT3、LLAMA、ChatGLM 的 Layer Normalization 的区别是什么?各自的优缺点是什么?
11、大模型常用的激活函数有哪些
12、多查询注意力与群查询注意力是否了解?区别是什么?
13、多模态大模型是否有接触?落地案例?
二、进阶篇
1、llama输入句子长度理论上可以无限长吗?
LLaMALarge Language Model Adaptation模型的输入句子长度受到硬件资源和模型设计的限制。
理论上如果硬件资源足够模型可以处理非常长的输入句子。然而实际上由于内存和处理能力的限制输入句子长度通常是有限制的。在实际应用中开发者会根据具体需求和硬件配置来确定合适的输入句子长度。
2、什么是LLMs复读机问题?
LLMs复读机问题是指在某些情况下大型语言模型在生成文本时会重复之前已经生成的内容导致生成的文本缺乏多样性和创造性。
3、为什么会出现LLMs复读机问题?
LLMs复读机问题可能由多种因素引起包括模型训练数据中的重复模式、模型在处理长序列时的注意力机制失效、或者模型在生成文本时对过去信息的过度依赖等。
4、如何缓解LLMs复读机问题?
数据增强通过增加训练数据的多样性和复杂性减少重复模式的出现。
模型改进改进模型的结构和注意力机制使其更好地处理长序列和避免过度依赖过去信息。
生成策略在生成文本时采用多样化的策略如抽样生成或引入随机性以增加生成文本的多样性。
5、什么情况用Bert模型什么情况用LLaMA、ChatGLM类大模型?BERT模型通常用于需要理解文本深层语义的任务如文本分类、命名实体识别等。
LLaMA和 ChatGLM类大模型则适用于需要生成文本或进行更复杂语言理解的任务如对话系统、文本生成等。选择哪种模型取决于任务的需求和可用资源。
6、各个专业领域是否需要各自的大模型来服务?
不同的专业领域需要特定的大模型来更好地服务。专业领域的大模型可以针对特定领域的语言 和知识进行优化提供更准确和相关的回答和生成文本。
7、如何让大模型处理更长的文本? 使用模型架构如Transformer, 它可以有效地处理长序列。 使用内存机制如外部记忆或缓存来存储和检索长文本中的信息。 使用分块方法将长文本分割成更小的部分然后分别处理这些部分。 大模型参数微调、训练、推理
8、如果想要在某个模型基础上做全参数微调究竟需要多少显存?
全参数微调 (Full Fine-Tuning) 通常需要大量的显存因为这种方法涉及到更新模型的所有参数。
显存的需求取决于模型的规模、批量大小、以及使用的硬件。例如对于大型模型如GPT- 3,可能需要多个GPU甚至TPU来分配显存每个GPU或TPU可能需要几十GB的显存。在实际操作中需要进行试错法来确定合适的批量大小和硬件配置。
9、为什么SFT之后感觉LLM傻了?
SFTSupervised Fine-Tuning之后感觉LLMLarge Language Model“傻了”可能是因为微调过程中出现了以下问题 过拟合模型可能过度适应训练数据导致在新数据上的泛化能力下降。 数据质量如果训练数据质量不高模型可能学到了错误的模式或偏见。 微调强度微调的强度可能不够导致模型没有充分适应新的任务。在这种情况下模型可能没有学习到足够的特定领域的知识因此在执行相关任务时表现不佳。
10、SFT指令微调数据如何构建?
11、领域模型Continue PreTrain数据选取?
12、领域数据训练后通用能力往往会有所下降如何缓解模型遗忘通用能力?
13、领域模型Continue PreTrain如何让模型在预训练过程中就学习到更多的知识?
14、进行SFT操作的时候基座模型选用Chat还是Base?
15、领域模型微调指令数据输入格式要求?
16、领域模型微调领域评测集构建?
17、领域模型词表扩增是不是有必要的?
18、如何训练自己的大模型?
19、训练中文大模型有啥经验?
20、指令微调的好处?
21、预训练和微调哪个阶段注入知识的?
22、想让模型学习某领域或行业知识是应该预训练还是应该微调?
23、多轮对话任务如何微调模型?
24、微调后的模型出现能力劣化灾难性遗忘是怎么回事?
25、微调模型需要多大显存?
26、大模型LLM进行SFT操作的时候在学习什么?
27、预训练和SFT操作有什么不同?
28、样本量规模增大训练出现OOM报错怎么解决?
29、大模型LLM进行SFT如何对样本进行优化?
30、模型参数迭代实验步骤?
31、为什么需要进行参选微调?参数微调的原因有哪些?
32、模型参数微调的方式有那些?你最常用哪些方法?
33、prompt tuning 和 prefix tuning在微调上的区别是什么?
34、LLaMA-adapter 如何实现稳定训练?
35、LoRA原理与使用技巧有那些?
三、大模型 LangChain
1、LangChain包含哪些核心概念?
2、什么是LangChain Agent
3、如何使用LangChain?
4、LangChain支持哪些功能?
5、什么是 LangChain model?
6、LangChain包含哪些特点?
7、LangChain 如何使用?
四、大模型分布式训练
篇幅有限略
五、大模型LLMs推理
篇幅有限略
