深圳电商网络网站建设,站长网站被跳转怎么办,个人网站 审批,购物网站建设过程视频Elasticsearch 从 7.3 版本开始支持向量搜索。从 8.0 开始支持带有 HNSW 的 ANN 向量搜索。目前 Elasticsearch 已经是全球下载量最多的向量数据库。它允许使用密集向量和向量比较来搜索文档。 矢量搜索在人工智能和机器学习领域有许多重要的应用。 有效存储和检索向量的数据库… Elasticsearch 从 7.3 版本开始支持向量搜索。从 8.0 开始支持带有 HNSW 的 ANN 向量搜索。目前 Elasticsearch 已经是全球下载量最多的向量数据库。它允许使用密集向量和向量比较来搜索文档。 矢量搜索在人工智能和机器学习领域有许多重要的应用。 有效存储和检索向量的数据库对于构建生产就绪的 AI/ML 服务至关重要。更多关于 Elastic 向量搜索的信息可以在地址 What is vector search? Better search with ML | Elastic 找到更多的信息。 向量到底是什么
简而言之向量是数据的数值表示。 所有数据表格、文本、图像、视频、声音等都可以表示为多维数字数组。 作为向量的表格数据
将数据转换为机器学习算法易于使用的形式是在 ML 管道的数据预处理阶段完成的。 这是管道的早期阶段之一。
表格数据例如 SQL 数据库中的表每行包含一个观察值。 表示为向量的表格数据 每列中的数据可大致分为四种类型之一。
Nominal名义数据是指没有任何顺序或定量值的值。 性别就是此类数据的一个例子。Ordinal序数数据具有自然排序其中数字按其在刻度上的位置按某种顺序出现但我们无法对它们执行任何算术任务。 日期字段是序数数据的示例。Discrete离散数据包含属于整数或整数的值。 班级中的学生总数是离散数据的一个示例。 这些数据不能分解为小数或分数。Continuous连续数据采用小数形式。 例如班级学生的身高就是连续数据的一个例子。
机器学习算法不擅长处理名义数据或有序数据。 因此在将表格数据输入机器学习算法之前我们通常需要将这些字段转换为数字。 编码是机器学习中将非数字字段转换为数字字段的过程。 对名义字段和序数字段进行编码后你获得向量数据集。 图像作为矢量
图像可以表示为 3 维数字矩阵技术上是 Rank-3 Tensor但现在让我们忽略细节。 两个维度代表像素的坐标第三个维度包含三个颜色通道。 矩阵中的数字范围为 0 到 255代表像素的三基色红、绿、蓝的值。 因此4 x 4 像素的彩色图像可以表示为如下所示的矩阵。 有关如何把图像转换为向量请参考文章 Elasticsearch如何在 Elastic 中实现图片相似度搜索 Elasticsearch使用向量搜索来搜索图片及文字 文本作为矢量
文本信息可以转换为一个长的数字向量其中向量中的位置代表单词值代表该单词在文本中出现的次数。 这称为文本数据的词袋bag of words表示。 These are not the droid you are looking for. No, I am your father.
these:1, are: 2, not: 1, the: 1, droid: 1, you: 1, look: 1, for: 1
no: 1, i: 1, am:1, you: 1, father: 1 文本信息可以转换为一个长的数字向量其中向量中的位置代表单词值代表该单词在文本中出现的次数。 这称为文本数据的词袋bag of words表示。这种早期形式的矢量化文本会产生稀疏向量带有太多零的向量。现在存在更复杂的方法词嵌入将文本转换为向量。 这些方法可以生成紧凑、密集的向量这些向量具有更小的存储大小并且还以这样的方式对文本的含义进行编码向量空间中更接近的文本预计在含义上相似。 为什么我们将数据表示为向量
数据点data points在机器学习中被表示为向量因为它们可以有效地编码和操作信息。 向量提供了一种简洁且结构化的格式来组织数据点其中每个向量元素对应于特定的特征或属性。 当数据点表示为向量时机器学习算法可以轻松执行加法、减法和点积等数学运算。 这有利于训练和推理过程中涉及的各种计算例如计算数据点之间的相似性、估计距离和优化模型。 此外向量可以使用线性代数和矩阵运算这构成了许多机器学习技术的基础。 通过利用向量的力量机器学习算法可以有效地分析复杂的数据集并从中学习最终获得准确的预测和有价值的见解。 现在我们已经将数据表示为向量接下来会发生什么
一旦数据以向量形式表示通常会被输入到预先训练的机器学习模型中该模型将这些向量映射到新的向量空间以便相似对象文本、图像或数据点的向量在向量中显得彼此接近。新的向量空间。 这个过程称为嵌入你猜对了生成的一组新向量也称为嵌入。 生成向量嵌入的 ML 管道 一旦我们有了一组新的向量每个向量代表我们的一个数据点其中与相似数据对应的向量彼此接近就会发生令人惊奇的事情。 当数据被表示为基于某种相似性概念彼此靠近排列的向量时查找与给定项目相似的项目就简化为查找与原始项目向量接近的所有项目向量。 那么有什么大不了的呢
随着向量搜索的发布你现在可以使用简单的运算符 HNSW 对存储在 Elasticsearch 中的向量执行相似性搜索而无需设置完全不同的并行基础设施来执行向量搜索。
应用团队立即开始看到以下好处
简化的应用程序架构和设计更快的应用程序发布周期降低基础设施成本降低维护费用更快实现价值
能够使用最新的人工智能技术例如 LLMs 和生成式人工智能快速增强用户体验的应用程序团队更有可能在竞争中领先。
更多关于如何使用 Elasticsearch 进行向量搜索的知识请阅读 AI文章专栏。 向量搜索用例
语义搜索根据搜索查询的含义和文档内容的含义来搜索文档。 与传统的文本搜索方法相比语义搜索是一种从数据库或搜索引擎检索信息的更先进的方法。 传统文本搜索依赖于关键字匹配和精确单词匹配而语义搜索旨在理解用户查询和搜索内容背后的上下文、意图和含义。请参阅文章 “Elasticsearch如何部署 NLP文本嵌入和向量搜索”。反向图像搜索查找 “看起来像” 给定图像的图像 - 例如 谷歌图片搜索。请参阅文章 “Elasticsearch如何在 Elastic 中实现图片相似度搜索”。推荐引擎根据以前的视图推荐社交媒体帖子Instagram 中的 Think Image 推荐、Twitter 上的推文推荐、Facebook Feed 或 Youtube 中推荐的故事等抄袭检测根据文档与数据库中文档的匹配程度来检测抄袭。
