向谷歌提交网站,wordpress 51la,做翻译网站 知乎,wordpress首页文件代码在大型语言模型 (LLM) 是一种能够理解和生成人类语言文本的机器学习模型。它们通过分析大量语言数据集来工作。 一、什么是大型语言模型 (LLM)#xff1f;
大型语言模型 (LLM) 是一种人工智能 (AI) 程序#xff0c;它可以识别和生成文本以及完成其他任务。LLM 经过了庞大的数据… 大型语言模型 (LLM) 是一种能够理解和生成人类语言文本的机器学习模型。它们通过分析大量语言数据集来工作。 一、什么是大型语言模型 (LLM)
大型语言模型 (LLM) 是一种人工智能 (AI) 程序它可以识别和生成文本以及完成其他任务。LLM 经过了庞大的数据集的训练因此称之为“大型”。LLM 在机器学习的基础上构建具体来说它是一种称为 Transformer 模型的神经网络。
简单地说LLM 是一个计算机程序已经为它提供了足够多的示例使它能够识别和解释人类语言或其他类型的复杂数据。许多 LLM 都是使用从互联网上收集的数据成千上万甚至数百万 GB 的文本进行训练的。但是样本的质量会影响 LLM 学习自然语言的效果因此 LLM 的程序员可能会使用更精心策划的数据集。
LLM 使用一种称为深度学习的机器学习来了解字符、单词和句子是如何共同发挥作用的。深度学习涉及对非结构化数据进行概率分析最终使深度学习模型能够在无需人工干预的情况下识别不同内容之间的区别。
接着在调整后进一步训练 LLM根据程序员希望它们完成的特定任务进行微调或提示调整例如解释问题并生成回答或者将文本从一种语言翻译成另一种语言。
二、LLM 有什么用途
可以训练 LLM 以执行多种任务。最广为人知的用途之一是将它作为生成式 AI 应用当为它们提供提示或向它们提出问题时它们可以生成文本作为回复。例如公开提供的 LLM ChatGPT 可根据用户输入生成散文、诗歌和其他文本形式。
任何大型复杂数据集都可用于训练 LLM包括编程语言。有些 LLM 可以帮助程序员编写代码。它们可以根据要求编写函数或者以一些代码为起点完成一个程序的编写。LLM 也可用于以下领域
情绪分析DNA 研究客户服务聊天机器人在线搜索
现实世界中的 LLM 包括 ChatGPT (OpenAI)、Bard (Google)、Llama (Meta) 和 Bing Chat (Microsoft)国内的商量、通义千问、文心一言等。GitHub 的 Copilot 是另一个例子但它用于编码而不是人类的自然语言。
三、LLM 有哪些优势和局限性
LLM 的一个主要特点是能够响应不可预测的查询。传统的计算机程序接收使用它接受的语法提供的命令或者接收用户提供的一组输入中的命令。视频游戏有一组有限的按钮应用程序有一组有限的用户可以单击或输入的物件而编程语言则由精确的 if/then 语句组成。
相比之下LLM 可以响应人类的自然语言并利用数据分析合理回答非结构化问题或提示。一般的计算机程序不能识别类似于“历史上最伟大的四支放克乐队是哪四支”这样的提示而 LLM 可能会列出四支此类乐队作答并提供令人信服的理由说明为什么他们是最伟大的。
不过就提供的信息而言LLM 的可靠性取决于它们获取的数据。如果向它们提供虚假信息它们就会在回答用户询问时提供虚假信息。LLM 有时也会“产生幻觉”当它们无法提供准确答案时它们会制造虚假信息。例如在 2022 年新闻媒体 Fast Company 向 ChatGPT 询问 特斯拉公司上一季度的财务状况虽然 ChatGPT 提供了一篇连贯的新闻文章作为回复但其中的许多信息都是编造的。
在安全方面基于 LLM、面向用户的应用程序与其他应用程序一样容易出现错误。还可以通过恶意输入操纵 LLM使其提供某些类型的响应而不是其他类型的响应包括危险或不道德的响应。最后LLM 的安全问题之一是用户可能为了提高自己的工作效率而将安全的机密数据上传到 LLM 中。但是LLM 使用它们接收到的输入来进一步训练它们的模型但是它们在设计上没有安全保险库功能它们可能会在响应其他用户的查询时公开机密数据。
四、LLM 如何工作
4.1 机器学习和深度学习
从根本上说LLM 是在机器学习的基础上构建的。机器学习是 AI 的一个分支机器学习是指向一个程序提供大量数据以训练这个程序如何在没有人工干预的情况下识别数据特征的做法。
LLM 使用称为深度学习的机器学习类型。深度学习模型基本上可以在没有人工干预的情况下自行训练识别区别尽管通常需要一些人工微调。
深度学习利用概率进行“学习”。例如在句子 The quick brown fox jumped over the lazy dog 中字母 e 和 o 最常见各出现四次。根据这一点深度学习模型可以正确得出结论这些字符是最有可能出现在英语文本中的字符。
实际上深度学习模型无法从一句话中得出任何结论。但是在分析了数以万亿计的句子之后它可以学到足够的知识来预测如何在逻辑上补全一个不完整的句子甚至生成它自己的句子。
4.2 神经网络
为了实现这种类型的深度学习LLM 在神经网络的基础上构建。正如人脑是由相互连接和发送信号的神经元组成一样人工神经网络通常简称为“神经网络”也是由相互连接的网络节点组成的。它们由多个“层”组成输入层、输出层以及这两个层之间的一个或多个层。各层只有在自己的输出超过某个阈值时才会相互传递信息。
4.2.1 Transformer 模型
用于 LLM 的特定神经网络称为 Transformer 模型。Transformer 模型能够学习上下文这对于高度依赖语境的人类语言尤为重要。Transformer 模型使用一种名为自注意力机制的数学技术来检测序列中元素相互之间的微妙关系。这使得它们比其他类型的机器学习更善于理解上下文。例如这使它们能够理解句子的结尾与开头之间的联系以及段落中各个句子相互之间的关系。
这使 LLM 能够解释人类语言即使这些语言含糊不清或定义不明确以它们以前从未遇到过的组合方式排列或以新的方式结合上下文。在某种程度上它们“了解”语义因为它们可以根据词语和概念的含义将两者联系起来因为它们已经数百万或数十亿次看到过这些词语和概念以这种方式组合在一起。 图片来源What are Large Language Models? | Definition from TechTarget
