新手建站详细步骤,企业网络推广体系图,电商平台入驻,青岛做网站大公司数据库管理149期 2024-02-10 数据库管理-第149期 Oracle Vector DB AI-01#xff08;20240210#xff09;1 机器学习2 向量3 向量嵌入4 向量检索5 向量数据库5 专用向量数据库的问题总结 数据库管理-第149期 Oracle Vector DB AI-01#xff08;20240210#xf… 数据库管理149期 2024-02-10 数据库管理-第149期 Oracle Vector DB AI-01202402101 机器学习2 向量3 向量嵌入4 向量检索5 向量数据库5 专用向量数据库的问题总结 数据库管理-第149期 Oracle Vector DB AI-0120240210 作者胖头鱼的鱼缸尹海文 Oracle ACE Associate: DatabaseOracle与MySQL 网思科技 DBA总监 10年数据库行业经验现主要从事数据库服务工作 拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证 墨天轮MVP、认证技术专家ITPUB认证专家OCM讲师 圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号非著名社恐社交恐怖分子 公众号胖头鱼的鱼缸CSDN胖头鱼的鱼缸尹海文墨天轮胖头鱼的鱼缸ITPUByhw1809。 除授权转载并标明出处外均为“非法”抄袭。 在龙年到来之际祝大家龙行龘龘前程朤朤生活鱻鱻。新的一年开始新的系列来探索一下Oracle Vector DB向量数据库以及AI Vector SearchAI向量搜索。本系列内容在Oracle DB 23c正式发布前仍可能出现变化最终以Oracle DB 23c正式发布内容为准。
1 机器学习
首先机器学习根据不同事物的特征来区分不同的事务。 例如区分不同种类的狗就可以通过体型大小、毛发长度、鼻子长短等特征来区分。如下面这张照片按照体型排序可以看到体型越大的狗越靠近坐标轴右边这样就能得到一个体型特征的一维坐标和对应的数值从 0 到 1 的数字中得到每只狗在坐标系中的位置。 然而单靠一个体型大小的特征并不够像图中哈士奇、金毛和拉布拉多的体型就非常接近我们无法区分。 继续观察其它的特征例如毛发的长短。这样每只狗对应一个二维坐标点我们就能轻易的将哈士奇、金毛和拉布拉多区分开来。 只要维度够多我们就能够将所有的事物区分开来世间万物都可以用一个多维坐标系来表示它们都在一个高维的特征空间中对应着一个坐标点。
2 向量
Vector向量也称为欧几里得向量、几何向量指具有大小和方向的量。可以使用带箭头的线段表示箭头指向即为向量的方向线段的长度表示向量的大小。两个向量的距离或者相似性可以通过汉明距离、欧式距离或者余弦距离得到。
3 向量嵌入
Vector Embedding一种自动化提取事物特征值的方法用来生成高纬度的向量数据图像、文本和音视频这种非结构化数据都可以通过某种变换或者嵌入学习转化为向量数据使用深度学习嵌入模型来生成向量数据。
4 向量检索
图片、文本、视频和语音等非结构化数据通过人工智能技术提取出特征向量然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析和检索。向量检索通常是近似查找要权衡搜索精度和速度。 对比第一个节中的例子不同种类的狗就会有有一系列诸如体型大小、毛发长度、鼻子长短等特组成的向量首先我们会建立一个向量数据库用于存放各种狗的基础向量信息由于狗存在变异的情况那么一种狗可能存在多条向量条目。而当我们需要通过图像去判断狗的种类时就需要通过与基础向量生产方式一样的算法来将图像内容嵌入成向量信息并与向量数据库中的向量信息进行匹配得到最接近的向量对比对应的狗信息得到结果。
5 向量数据库
向量数据库是一种专门用于存储、索引和查询向量数据的数据库系统。 向量数据库能够将向量存储为高维点并进行检索。可以高效、快速地查找N维空间中的最近邻。 这些功能通常由 近似最近邻ANN索引提供支持构建索引的算法有分层可导航小世界HNSW和倒排文件索引IVF算法等。 向量数据库提供了其他功能例如数据管理、容错、身份验证、访问控制以及查询引擎等。
与传统关系型数据库相比
数据类型向量数据库专门用于存储和管理向量数据而传统数据库则可以存储各种标量类型的数据例如文本、数字、日期等。数据规模通常向量数据库数据量比较大一般要考虑可线性扩展的系统。查询方式传统的数据库查询通常是一种精确查找即查询得到的结果要么符合条件要么不符合条件而向量数据库的向量查询通常是近似查找即查询得到的结果是与输入条件最相似的而近似比较对计算能力要求非常高。向量查询通常是计算密集型的。 下面是一些比较常见向量数据库及其对比这里是从群聊聊天记录抽取冯若航发的
5 专用向量数据库的问题
其实在去年SACC上海站我也大概讲过Oracle Vector DB的相关内容业余国内外大型互联网公司深入探讨过向量数据库。专用的向量数据库确实可以针对AI向量检索场景提供非常好的功能与性能但是当场景中需要对向量进行调整即update的时候专用向量数据库就会出现无法更新的情况只能标记并将修改内容新增至向量数据库中。这就造成了需要调整向量的场景需要预留一定空间用于“更新”操作另一方面向量数据库中会存在无效数据不仅增大了空间占用也增加了性能损耗。 那么Oracle Vector DB是如何解决这些问题的呢后面会深入讲解。
总结
本期简单讲解了机器学习、向量、向量数据库的基本概念下一期将针对LLM进行简单介绍。 老规矩知道写了些啥。
