网站建设心得500字,网站怎么做效果更好,wordpress4.7安装,杭州建筑人才网ChatGPT、Claude.ai等大模型产品就像“图书馆”一样为我们生成各种各样的内容。但是想更新这个图书馆里的知识却不太方便#xff0c;经常需要漫长、费时的预训练、蒸馏才能完成。
研究人员提出了一种具有情景记忆控制的大语言模型Larimar#xff0c;这是一种类似人脑海…ChatGPT、Claude.ai等大模型产品就像“图书馆”一样为我们生成各种各样的内容。但是想更新这个图书馆里的知识却不太方便经常需要漫长、费时的预训练、蒸馏才能完成。
研究人员提出了一种具有情景记忆控制的大语言模型Larimar这是一种类似人脑海马体的情景记忆能力。
Larimar主要设计了一个外部记忆模块,专门储存独立的实时数据,并将这些记忆有效地注入到大语言模型中,使得Larimar无需重新预训练就能在内容生成过程中精准使用新的知识数据。
论文地址https://arxiv.org/abs/2403.11901 Larimar核心方法
研究人员主要受到了人脑“海马体”神经结构的启发。海马体在人类的多种认知过程中扮演着关键角色尤其是在记忆形成、组织和检索以及空间导航方面。
海马体对短期记忆转化为长期记忆至关重要特别是在形成新的记忆和学习新信息的过程中帮助将经验和信息从短期记忆库存转移到大脑的其他部分以形成长期记忆。
Larimar采用了互补学习系统理论的观点其中海马体快速学习系统将样本记录为情景记忆而新皮层慢速学习系统学习输入分布的摘要统计信息作为语义记忆。 Larimar的目标是将情景记忆模块作为当前一组事实更新或编辑的全局存储并将这个记忆作为大语言模型解码器的条件。为了高效且准确地更新这个记忆研究人员利用了类似于Kanerva Machine的分层记忆结构其中内存的写入和读取被解释为生成模型中的推理。
此外,这种灵活的模块化设计也使得Larimar具备遗忘数据、防泄密等多种特殊记忆控制功能。
Larimar多个核心模块
1大语言模型编码器Larimar使用了BERT模型作为基础编码器其作用是将输入文本映射到潜在语义空间,得到对应的向量表示数据并作为外部情景记忆模块的写入内容。
2外部情景记忆模块Larimar的核心模块设计了一个固定大小(如512x768)的存储矩阵,用于存放编码器输出的潜在向量表示。该记忆模块借鉴了Kanerva的分层记忆架构思路。当有新的知识数据输入到Larimar时就会被写入到情景记忆模块中并且需要输出时会进行随机抽取。 3大语言模型解码器解码器模块的作用是将情景记忆模块读取的向量进一步解码,生成最终的文本输出Larimar使用了GPT系列模型作为解码器。解码器通过自注意力机制将记忆模块中的数据与其他信息整合对输出施加影响使得生成的文本包含了新的数据知识。 4记忆范围检测器有时候我们期望生成的输出不受新知识数据影响,执行原本的数据内容生成就可以通过记忆范围检测器来实现。
这是一个小型序列二分类模型,根据输入判断是否需要利用记忆模块进行条件生成。如果检测器输出无需记忆,则直接执行无条件解码;反之则会利用新知识数据进行生成。
研究人员表示Larimar是一种创新技术架构可以有效解决大语言模型数据更新不及时、消除数据中存在的非法、偏见、错误等数据同时可以很好保护那些敏感的数据防止外漏。
