机械网站建设开发,免费自己制作网站方法,友情链接交换平台免费,深圳学历提升在瞬息万变的数据存储和处理领域#xff0c;将高效的云存储解决方案与先进的 AI 功能相结合#xff0c;为处理大量数据提供了一种变革性的方法。本文演示了使用 MinIO、Langchain 和 OpenAI 的 GPT-3.5 模型的实际实现#xff0c;重点总结了存储在 MinIO 存储桶中的文档。
…
在瞬息万变的数据存储和处理领域将高效的云存储解决方案与先进的 AI 功能相结合为处理大量数据提供了一种变革性的方法。本文演示了使用 MinIO、Langchain 和 OpenAI 的 GPT-3.5 模型的实际实现重点总结了存储在 MinIO 存储桶中的文档。
MinIO的强大功能
MinIO 是开源的高性能对象存储与 Amazon S3 API 完全兼容。MinIO 以其可扩展性而闻名非常适合存储非结构化数据例如照片、视频、日志文件、备份和容器映像。这不仅仅是关于存储;MinIO 还提供数据复制、生命周期管理和高可用性等功能使其成为现代云原生应用程序的首选。
集成 Langchain 和 OpenAI
Langchain 是一种基于 Python 的工具可促进文档加载器和 AI 模型之间的交互。在我们的用例中我们将 Langchain 与 OpenAI 的 gpt-3.5-turbo-1106 模型相结合以汇总来自 MinIO 存储桶的文档。这种设置举例说明了人工智能如何从大量数据中提取基本信息从而简化数据分析和解释。有关本文相关的更多信息和支持材料例如笔记本和加载的文档请访问 langchain-s3-minio 目录下的 MinIO Github 存储库。
安装 Langchain
在深入研究实施之前请确保您已安装 Langchain。通过 pip 安装它
pip install --upgrade langchain这将封装我们将用于 S3 加载器和 OpenAI 模型的所有必需库。
第 1 步Langchain S3 目录和文件加载程序
最初我们专注于使用 Langchain 的 S3DirectoryLoader 和 S3FileLoader .这些加载程序负责从 MinIO 存储桶中的指定目录和文件中获取多个和单个文档。
MinIO 配置和 Langchain S3 文件加载器
from langchain_community.document_loaders.s3_file import S3FileLoader# MinIO Configuration for the public testing server
endpoint play.min.io:9000
access_key minioadmin
secret_key minioadmin
use_ssl True# Initialize and load a single document
file_loader S3FileLoader(bucketweb-documentation,keyMinIO_Quickstart.md,endpoint_urlfhttp{s if use_ssl else }://{endpoint},aws_access_key_idaccess_key,aws_secret_access_keysecret_key,use_ssluse_ssl
)document file_loader.load()Python Langchain 示例 - S3 文件加载程序
Langchain S3 目录加载程序
from langchain_community.document_loaders.s3_directory import S3DirectoryLoader# Initialize and load documents
directory_loader S3DirectoryLoader(bucketweb-documentation,prefix,endpoint_urlfhttp{s if use_ssl else }://{endpoint},aws_access_key_idaccess_key, aws_secret_access_keysecret_key, use_ssluse_ssl
)documents directory_loader.load()
Python Langchain 示例 - S3 目录加载程序
第 2 步使用 OpenAI 进行总结
加载文档后我们使用 OpenAI 的 GPT-3.5 模型包含在 ChatOpenAI Langchain 库中通过 来生成摘要。此步骤说明了模型理解和压缩内容的能力从而提供从大型文档中快速获得见解的能力。
要访问 OpenAI API您可以通过访问 OpenAI 平台获取 API 密钥。获得密钥后将其集成到下面的代码中以利用 GPT-3.5 的强大功能进行文档摘要。
文档摘要代码示例
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnableLambda
import os# Set your OpenAI API key
os.environ[OPENAI_API_KEY] your-openai-api-key
model ChatOpenAI(temperature0, modelgpt-3.5-turbo-1106)prompt ChatPromptTemplate.from_template(Summarize the following document {document_name}:{context}Please provide the summary and key points.
)loaded_documents [documents, document] # From S3 Loaders
flattened_documents [doc for sublist in loaded_documents for doc in sublist] for loaded_document in flattened_documents:document_text loaded_document.page_contentdocument_name getattr(loaded_document, name, Unknown Document) # Assuming each document has a name attributechain (RunnableLambda(lambda x: {context: document_text, document_name: document_name})| prompt| model| StrOutputParser())summary chain.invoke(None)print(Summary:, summary)
Python Langchain 示例 - 使用 OpenAI API 总结文档 以下是运行此演示的输出是将 LangChain 与 OpenAI 的 GPT-3.5 和 MinIO S3 存储集成的结果;出于演示目的输出已缩短 Summary: The document is a quickstart guide for MinIO, a high-performance object storage system that is compatible with Amazon S3. It explains how to run MinIO on bare metal hardware or in containers. For Kubernetes environments, it recommends using the MinIO Kubernetes Operator. The key points are:- MinIO is a high-performance object storage system.
- It is released under the GNU Affero General Public License v3.0.
- MinIO is API compatible with Amazon S3.
- It can be used to build high-performance infrastructure for machine learning, analytics, and application data workloads.
- The guide provides quickstart instructions for running MinIO on bare metal hardware or in containers.
- For Kubernetes environments, the MinIO Kubernetes Operator is recommended.
来自 OpenAI API 的响应
这种方法突出了一种有趣的方式即使用 Langchain 框架将文档从 S3 存储加载到其中LLM进行处理而 OpenAI 的 GPT-3.5 模型会生成从 play.min.io 服务器获取的简明摘要和关键点 MinIO_Quickstart.md 。使用 AI 来分析和压缩大量文档使用户能够快速、全面地了解安装、服务器配置、SDK 和其他 MinIO 功能等基本方面。它展示了人工智能从综合数据源中提取和呈现关键信息的能力。
使用 Langchain 从 MinIO 存储桶加载文档
MinIO、Langchain 和 OpenAI 的集成为管理大量数据提供了引人注目的工具集。虽然 Langchain 的 S3 加载器 S3DirectoryLoader 和 S3FileLoader 在从 MinIO 存储桶检索文档方面发挥着重要作用但它们仅用于将数据加载到 Langchain 中。这些加载程序不会执行与将数据上传到存储桶相关的操作。对于上传、修改或管理存储桶策略等任务MinIO Python SDK 是合适的工具。此 SDK 提供了一套用于与 MinIO 存储交互的综合功能包括文件上传、存储桶管理等。有关更多信息请参阅快速入门指南 — 适用于 Linux 的 MinIO 对象存储、Python 客户端 API 参考 — 适用于 Linux 的 MinIO 对象存储。
虽然 Langchain 简化了使用 AI 模型获取和处理数据的过程但 MinIO 存储桶中数据管理的繁重工作取决于 MinIO Python SDK。这是一个重要的区别开发人员和数据工程师必须了解这一点以构建高效的 AI 集成存储解决方案。要全面了解 MinIO 的功能以及如何利用其 Python SDK 进行各种存储操作请参阅 MinIO 的官方文档。
通过使用 MinIO 对象存储作为 AI 和 ML 流程的主要数据存储库您可以简化数据管理管道。MinIO 是存储、管理和检索大型数据集的一站式解决方案这对于有效的 AI 和 ML 操作至关重要。这种简化的方法降低了复杂性和开销通过确保快速访问数据有可能加速获得见解。
祝您在开发过程中好运我们希望 MinIO 继续在您的 AI/ML 之旅中发挥关键作用。请通过电话和邮件与我们联系分享你的见解和发现
