阜阳做网站,东莞市官网网站建设品牌,访问量大的网站带宽,wordpress 用户登录记录在很长的一段时间里#xff0c;DAS、SAN 和 NAS 这三种架构几乎统治了数据存储市场。所有行业用户的数据存储需求#xff0c;都是在这三者中进行选择。 然而#xff0c;随着时代的发展#xff0c;一种新的数据存储形态诞生#xff0c;开始挑战前面三者的垄断地位。没错DAS、SAN 和 NAS 这三种架构几乎统治了数据存储市场。所有行业用户的数据存储需求都是在这三者中进行选择。 然而随着时代的发展一种新的数据存储形态诞生开始挑战前面三者的垄断地位。没错它就是云计算时代存储技术的新网红——对象存储。 什么是对象存储
对象存储也称为“面向对象的存储”英文是 Object-based Storage。现在很多云厂商也直接称之为“云存储”。不同的云厂商对它有不同的英文缩写命名。例如阿里云把自家的对象存储服务叫做 OSS华为云叫 OBS腾讯云叫 COS七牛叫 Kodo百度叫 BOS网易叫 NOS……五花八门反正都是一个技术。
DAS 和 SAN 是基于物理块的存储方式而 NAS 是基于文件的存储方式。 在 DAS 和 SAN 中存储资源就像一块一块的硬盘直接挂载在主机上我们称之为块存储。而在 NAS 中呈现出来的是一个基于文件系统的目录架构有目录、子目录、孙目录、文件我们称之为文件存储。文件存储的最大特点就是所有存储资源都是多级路径方式进行访问的。例如
C:\Program Files (x86)\Tencent\WeChat\WeChat.exe
\\NJUST-Server\ 学习资料 \ 通信原理 \ 第一章作业 .doc
数据存储的两个重大变化
20 世纪末随着互联网的爆发数据存储需求发生了两个重大的变化。
第一就是数据量爆炸式增长。原因我就不用说了吧大家可以瞅瞅自己的硬盘都藏了些什么。Web 应用的崛起、社交需求的刺激极大地推动了多媒体内容的创作和分享。人们开始上传大量的照片、音乐、视频加剧了数据量的爆发。此外信息技术的发展、企业数字化的落地也产生了大量的数据不断吞食着存储资源。
第二是非结构化数据的占比显著增加。
什么是非结构化数据举个例子大家就明白了。我们经常做的 excel 表格姓名、身高、体重、年龄、性别这种用二维表结构可以进行逻辑表达的数据就是结构化数据。 而图像、音频、视频、word 文章、演示胶片这样的数据就是非结构化数据。根据此前的预测到 2020 年也就是今年全球数据总量的 80%将是非结构化数据。面对这两大趋势因为本身技术和架构的限制DAS、SAN 和 NAS 无法进行有效应对。于是专家们就搞出了对象存储。 对象存储的发展历程
虽然我们说对象存储是新网红但实际上它诞生的时间并不算短。早在 1996 年美国卡内基梅隆大学就将对象存储作为一个研究项目提出来。随后加州大学伯克利分校也有推出类似的项目。2002 年Filepool 公司推出了基于内容可寻址技术的 Centera 系统算是比较早期的对象存储系统。2006 年美国 Amazon 公司发布AWS S3Simple Storage Service服务正式将对象存储作为一项云存储服务引入云计算领域从此开启了对象存储的黄金时代。S3 几乎成为对象存储的事实标准各厂家基本上都会兼容 S3。
对象存储和块存储、文件存储的区别
说了半天对象存储到底是一个什么样的技术它和块存储、文件存储有什么区别想要了解对象存储最简单直接的办法就是从实际使用体验上进行对比。对象存储的底层硬件介质依然是硬盘和块存储、文件存储没有区别。而对象存储架构在底层硬件之上的系统和两者完全不同。不同的软件带来了完全不同的使用体验
块存储操作对象是磁盘。存储协议是 SCSI、iSCSI、FC。以 SCSI 为例主要接口命令有 Read/Write/Read Capacity/Inquiry 等等。文件存储操作对象是文件和文件夹。存储协议是 NFS、SAMBASMB、POSIX 等。以 NFS大家应该都用过“网上邻居”共享文件吧就是那个为例文件相关的接口命令包括READ/WRITE/CREATE/REMOVE/RENAME/LOOKUP/ACCESS 等等文件夹相关的接口命令包括MKDIR/RMDIR/READDIR 等等。对象存储主要操作对象是对象Object。存储协议是 S3、Swift 等。以 S3 为例主要接口命令有 PUT/GET/DELETE 等。由此可见接口命令非常简洁没有那种目录树的概念。在对象存储系统里你不能直接打开 / 修改文件只能先下载、修改再上传文件。 对象存储中的数据组成
对象存储呈现出来的是一个“桶”bucket你可以往“桶”里面放“对象Object”。这个对象包括三个部分Key、Data、Metadata。 Key可以理解文件名是该对象的全局唯一标识符UID。Key 是用于检索对象服务器和用户不需要知道数据的物理地址也能通过它找到对象。这种方法极大地简化了数据存储。下面这行就是一个对象的地址范例 看上去就是一个 URL 网址。如果该对象被设置为“公开”所有互联网用户都可以通过这个地址访问它。Data也就是用户数据本体。这个不用解释了。MetadataMetadata 叫做元数据它是对象存储一个非常独特的概念。元数据有点类似数据的标签标签的条目类型和数量是没有限制的可以是对象的各种描述信息。举个例子如果对象是一张人物照片那么元数据可以是姓名、性别、国籍、年龄、拍摄地点、拍摄时间等。 元数据可以有很多。在传统的文件存储里这类信息属于文件本身和文件一起封装存储。而对象存储中元数据是独立出来的并不在数据内部封装。元数据的好处非常明显可以大大加快对象的排序还有分类和查找。 对象存储的架构
对象存储的架构是怎样的呢如下图所示分为 3 个主要部分 OSD 对象存储设备这是对象存储的核心具有自己的 CPU、内存、网络和磁盘系统。它的主要功能当然是存储数据。同时它还会利用自己的算力优化数据分布并且支持数据预读取提升磁盘性能。
MDS 元数据服务器它控制 Client 和 OSD 的交互还会管理着限额控制、目录和文件的创建与删除以及访问控制权限。
Client 客户端提供文件系统接口方便外部访问。根据上面的架构可以看出对象存储系统可以是一个提供海量存储服务的分布式架构。
对象存储的优点
对象存储的优点很多简单归纳如下
容量无限大对象存储的容量是 EB 级以上。EB 有多大大家的硬盘普遍是 TB 级别。1EB 约等于 1TB 的一百万倍请自行脑补 ...对象存储的所有业务、存储节点采用分布式集群方式工作各功能节点、集群都可以独立扩容。从理论上来说某个对象存储系统或单个桶bucket并没有总数据容量和对象数量的限制。换句话说只要你有足够的 money服务商就可以不停地往架构里增加资源这个存储空间就是无限的。你可以根据自身需求购买相应大小的对象存储空间。如果需要调整大小也是支持弹性伸缩的你不要进行数据迁移和人工干预。数据安全可靠对象存储采用了分布式架构对数据进行多设备冗余存储至少三个以上节点实现异地容灾和资源隔离。根据云服务商的承诺数据可靠性至少可以达到 99.999999999%不用数了一共 11 个 9。这意味着1000 亿个文件里每月最多只会有 1 个文件发生数据丢失。这比一个人被陨石击中的概率还要小 143000 倍。数据访问方面所有的桶和对象都有 ACL 等访问控制策略所有的连接都支持 SSL 加密OBS 系统会对访问用户进行身份鉴权。因为数据是分片存储在不同硬盘上的所以即使有坏人偷了硬盘也无法还原出完整的对象数据。使用方便对于用户来说对象存储是一个非常方便的存储方式。很多人把它比喻为“代客泊车”你只需要把车扔给他他给你一个凭证你通过凭证取车就可以了。你不需要知道车库的布局也不需要自己去费力停放。数据的存取方法也非常灵活多样。除了前面说的可以使用网页基于 http直接访问之外大部分云服务提供商都有自己的图形化界面客户端工具用户存取数据就像用网盘一样。 事实上大部分的对象存储需求并不是个人用户买来当网盘用而且企业或政府用户用于系统数据存储。例如网站、App 的静态图片、音频、视频还有企业系统的归档数据等。像这种数据是通过程序内部的接口调用的。对象存储提供开放的 REST API 接口。程序员在开发应用时直接把存储参数写进代码就可以通过 API 接口调用对象存储里的数据。相比文件存储那一串串的路径对象存储要方便很多。
对象存储的应用场景
目前国内有大量的云服务提供商他们把对象存储当作云存储在卖。他们通常会把存储业务分为 3 个等级即标准型、低频型、归档型。对应的应用场景如下
标准类型移动应用 | 大型网站 | 图片分享 | 热点音视频低频访问类型移动设备 | 应用与企业数据备份 | 监控数据 | 网盘应用归档类型各种长期保存的档案数据 | 医疗影像 | 影视素材
根据估算目前全球互联网 70%以上的热点数据是保存在对象存储系统中的。对象存储虽然看上去很好很强大但也不是没有缺点。它最大的缺点和它的工作模式有关。它是那种把整个数据取出来修改再放回去的模式不支持直接在存储上修改哪怕只是加一行数据都不行。所以它不适合存储需要频繁擦写的数据例如关系型数据库的数据。在数据的一致性保证上对象存储也存在先天的不足。不过据说目前技术上已经有了很大改进。
