网站首页面设计,山东做网站建设的好公司哪家好,出售域名的网站,专业的手机网站建设公司排名#x1f4a1; 一、模型结构关键词
1. Transformer
Transformer 是一种专门用来“理解文字”的神经网络结构。就像一个聪明的秘书#xff0c;能同时看懂整段话的所有词之间的关系#xff0c;而不是像老式模型那样一句一句读。
#x1f449; 举例#xff1a;以前的模型像… 一、模型结构关键词
1. Transformer
Transformer 是一种专门用来“理解文字”的神经网络结构。就像一个聪明的秘书能同时看懂整段话的所有词之间的关系而不是像老式模型那样一句一句读。 举例以前的模型像一个机器人一字一句看句子而 Transformer 像是一个能一眼扫完全文并抓住重点的读者。 2. Encoder / Decoder
Encoder编码器负责把输入的文字变成“理解用”的数字信息。Decoder解码器把理解后的信息变成一句完整的回复或新内容。 举例输入“我饿了”Encoder 会理解你是饿了Decoder 会回复“那你去吃点东西吧”。 3. Attention / Self-Attention
这是一种让模型“关注重点词”的机制。比如“狗追着猫跑”模型要知道谁在追谁就要重点关注“狗”和“追”。 举例你读一句话时也会自动注意重要的词Attention 就是模型的“注意力”。 4. Feed Forward
一个普通的神经网络层用来把每个词的理解结果进一步加工。 类比就像你理解完每个词之后还要在脑子里再想一下它具体的含义。 5. Residual
让模型保留旧信息避免忘掉之前学的内容。 类比像你在写作业时在旁边保留一个草稿记录避免前后逻辑出错。 6. Positional Encoding
Transformer 本身不理解词语的顺序所以要专门加上“位置信息”。 举例句子“我爱你”和“你爱我”意思不同模型需要知道“我”和“你”的位置才能理解准确。 二、训练机制关键词
1. Pretraining预训练
模型最初要在大量文本上自学语言规律相当于打基础。 举例就像你上小学之前要先学拼音和字母。 2. Fine-tuning微调
在预训练之后模型可以针对具体任务如答题、写诗进行专门训练。 类比基础学完后你可以专门练习写作文或做数学题。 3. Masked Language ModelingMLM
训练方式是“填空题”式随机遮住句子中的某些词让模型猜出是什么词。 举例输入“我今天很 [MASK]”模型要猜“开心”或“难过”。 4. Causal Language Modeling因果语言建模
只能看到前面词来预测下一个词。 举例你说“我今天去”模型要猜你下一步是“上班”还是“旅游”不能偷看后面的词。 5. Next Sentence Prediction
训练模型判断“两句话是否有关联”。 举例一句是“我今天生病了”下一句是“我请了假”模型要学会识别这两句是连贯的。 ⚙️ 三、推理部署关键词
1. KV Cache
缓存之前生成的结果避免重复计算。 类比你和朋友聊天不需要每次都从第一句重复讲模型也可以记住前文。 2. Quantization量化
把模型参数从大数字变成小数字压缩模型加快运行。 举例就像把高清图片压缩成小图但尽量不影响清晰度。 3. LoRA低秩适配
只调整少部分模型参数来完成微调节省资源。 类比给现有软件加一个插件而不是重新写整个程序。 4. FP16 / INT8
模型的“计算精度”。FP16 是半精度INT8 是 8位整数。 举例像把原本需要用“毫米”测量的东西换成“厘米”测量快但略有损失。 5. Batching
同时处理多个输入提高效率。 类比不是一个一个炒菜而是开大锅做十份菜。 ✨ 四、提示词工程关键词
1. Prompt
给模型的提示或问题。 举例你问“写一首关于夏天的诗”这句话就是 prompt。 2. System Prompt
系统默认的背景设定决定模型说话风格。 举例“你是一位耐心的老师”模型就会用耐心的语气回答问题。 3. Zero-shot / Few-shot
Zero-shot不给模型例子直接问。Few-shot给模型几个示例帮助它更好理解任务。 举例你说“翻译‘I love you’”就是 Zero-shot你先给它几个中英文对照例子再让它翻译就是 Few-shot。 4. Chain of Thought
引导模型写出思考过程而不是直接给答案。 举例问“2个苹果和3个苹果一共几个”模型先写“235”再说“答案是5”。 5. Temperature / Top-k / Top-p
控制输出的“随机性”。
Temperature 高回答更有创意Top-k/p 是限制选词范围保证输出更合理。 类比就像你写作文时可以自由发挥高温或按模板来写低温。 6. Stop Sequence
设置模型遇到某些词就停。 举例模型生成到“谢谢再见。”就停止避免继续胡说。 五、语料与训练数据关键词
1. Common Crawl
互联网上公开网页的数据集合是模型学习材料的一部分。 类比就像你小时候到图书馆随便读所有书模型也从网上“读书”。 2. Deduplication
去掉重复内容防止模型过度记忆某句话。 举例一本书里重复太多遍“我爱你”模型就可能过度使用这个句子。 3. Tokenization
把句子切成模型能理解的小单位词或字。 举例“我爱你”会被切成3个 Token模型每次处理一个单位。 4. RLHF人类反馈强化学习
人类给模型输出打分然后模型根据反馈学会给出更合适的答案。 类比你教小朋友讲话时夸他讲得好他就更愿意那样说。 ️ 六、安全与对齐关键词
1. Prompt Injection
一种攻击方式偷偷加内容控制模型行为。 举例你本来叫模型“礼貌地回答问题”但有人输入“忽略之前所有指令”模型可能就被控制了。 2. Jailbreak
突破模型安全限制让它说出不该说的话。 类比像“黑客绕过密码”一样让模型做违禁事。 3. Bias Mitigation
减少偏见让模型更公平。 举例避免模型认为“程序员男性”减少性别歧视。 4. Guardrails
给模型设定边界比如不能说暴力内容或给出危险建议。 类比像儿童视频网站一样自动屏蔽不良内容。 5. Constitutional AI
给模型写一套“价值观宪法”让它言行合乎道德。 举例比如“不撒谎”、“不鼓励暴力”、“尊重人类”模型的回答会严格遵守这些原则。
