想找公司做网站,wordpress 显示不正常,上海浦东做网站公司,中国建设银行手机银行家网站一、对象存储概念
对象存储#xff08;object storage#xff09;是非结构数据的存储方法#xff0c;对象存储中每一条数据都作为单独的对象存储#xff0c;拥有唯一的地址来识别数据对象#xff0c;通常用于云计算环境中。不同于其他数据存储方法#xff0c;基于对象的…一、对象存储概念
对象存储object storage是非结构数据的存储方法对象存储中每一条数据都作为单独的对象存储拥有唯一的地址来识别数据对象通常用于云计算环境中。不同于其他数据存储方法基于对象的存储不使用目录树。
虽然在设计与实现上有所区别但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户端的角度来看分为以下几个逻辑单位 ●Amazon S3 提供了 1、用户User 2、存储桶Bucket 3、对象Object
三者的关系是 1、User将Object存储到系统上的Bucket 2、存储桶属于某个用户并可以容纳对象一个存储桶用于存储多个对象 3、同一个用户可以拥有多个存储桶
不同用户允许使用相同名称的Bucket因此User名称即可做为Bucket的名称空间
●OpenStack Swift 提供了user、container和object分别对应于用户、存储桶和对象不过它还额外为user提供了父级组件account用于表示一个项目或用户组因此一个account中可以包含一到多个user它们可共享使用同一组container并为container提供名称空间 ●RadosGW 提供了user、subuser、bucket和object其中的user对应于S3的user而subuser则对应于Swift的user不过user和subuser都不支持为bucket提供名称空间因此不同用户的存储桶不允许同名不过自jewel版本起RadosGW引入了tenant租户用于为user和bucket提供名称空间但他是个可选组件
从上可以看出大多数对象存储的核心资源类型大同小异如 Amazon S3、OpenStack Swift 与 RadosGw。其中 S3 与 Swift 互不兼容RadosGw 为了兼容 S3 与 Swift Ceph 在 RadosGW 集群的基础上提供了 RGWRadosGateway数据抽象层和管理层它可以原生兼容 S3 和 Swift 的 API。 S3和Swift它们可基于http或https完成数据交换由RadosGW内建的Civetweb提供服务它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求再转发至RadosGW进程。 RGW 的功能依赖于对象网关守护进程实现负责向客户端提供 REST API 接口。出于冗余负载均衡的需求一个 Ceph 集群上通常不止一个 RadosGW 守护进程。##可以在多个节点去开启RGW守护进程
二、创建 RGW 接口
如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口RadosGW 通常作为对象存储Object Storage使用类于阿里云OSS。 1.在管理节点创建一个 RGW 守护进程
cd /etc/ceph
ceph-deploy rgw create node01
ceph -s
2.创建成功后默认情况下会自动创建一系列用于 RGW 的存储池
ceph osd pool ls
rgw.root
default.rgw.control #控制器信息
default.rgw.meta #记录元数据
default.rgw.log #日志信息
default.rgw.buckets.index #为 rgw 的 bucket 信息写入数据后生成
default.rgw.buckets.data #是实际存储的数据信息写入数据后生成
3.默认情况下 RGW 监听 7480 号端口
ssh rootnode01 netstat -lntp | grep 7480
4.开启 httphttps 更改监听端口
RadosGW 守护进程内部由 Civetweb 实现通过对 Civetweb 的配置可以完成对 RadosGW 的
基本管理
#要在 Civetweb 上启用SSL首先需要一个证书在 rgw 节点生成证书
1生成CA证书私钥
openssl genrsa -out civetweb.key 20482生成CA证书公钥
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj /CN192.168.20.7#3、将生成的证书合并为pem
cat civetweb.key civetweb.crt /etc/ceph/civetweb.pem
更改监听端口
vim ceph.conf
......
[client.rgw.node01]
rgw_host node01
rgw_frontends civetweb port80443s ssl_certificate/etc/ceph/civetweb.pem num_threads500 request_timeout_ms60000------------------------------------------------------------
●rgw_host对应的RadosGW名称或者IP地址
●rgw_frontends这里配置监听的端口是否使用https以及一些常用配置
•port如果是https端口需要在端口后面加一个s。
•ssl_certificate指定证书的路径。
•num_threads最大并发连接数默认为50根据需求调整通常在生产集群环境中此值应该更大
•request_timeout_ms发送与接收超时时长以ms为单位默认为30000
•access_log_file访问日志路径默认为空
•error_log_file错误日志路径默认为空
------------------------------------------------------------#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}systemctl restart ceph-radosgw.target
5.在 rgw 节点上查看端口
netstat -lntp | grep -w 80
netstat -lntp | grep 443
6.在客户端访问验证 curl http://192.168.80.105:80
curl -k https://192.168.80.105:443
7.创建 RadosGW 账户
在管理节点使用 radosgw-admin 命令创建 RadosGW 账户
radosgw-admin user create --uidrgwuser --display-namergw test user
#创建成功后将输出用户的基本信息其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uidrgwuser
8.客户端测试
1在客户端安装 python3、python3-pip
yum install -y python3 python3-pippython3 -V
Python 3.6.8pip3 -V
pip 9.0.3 from /usr/lib/python3.6/site-packages (python 3.6)2安装 boto 模块用于测试连接 S3
pip3 install boto3测试访问 S3 接口
echo 123123 /opt/123.txtvim test.py
#coding:utf-8
import ssl
import boto.s3.connection
from boto.s3.key import Key
try:_create_unverified_https_context ssl._create_unverified_context
except AttributeError:pass
else:ssl._create_default_https_context _create_unverified_https_context#test用户的keys信息
access_key ER0SCVRJWNRIKFGQD31H #输入 RadosGW 账户的 access_key
secret_key YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna #输入 RadosGW 账户的 secret_key#rgw的ip与端口
host 192.168.80.11 #输入 RGW 接口的 public 网络地址#如果使用443端口下述链接应设置is_secureTrue
port 443
#如果使用80端口下述链接应设置is_secureFalse
#port 80
conn boto.connect_s3(aws_access_key_idaccess_key,aws_secret_access_keysecret_key,hosthost,portport,is_secureTrue,validate_certsFalse,calling_formatboto.s3.connection.OrdinaryCallingFormat()
)#一:创建存储桶
#conn.create_bucket(bucket_namebucket01)
#conn.create_bucket(bucket_namebucket02)#二判断是否存在不存在返回None
exists conn.lookup(bucket01)
print(exists)
#exists conn.lookup(bucket02)
#print(exists)#三获得一个存储桶
#bucket1 conn.get_bucket(bucket01)
#bucket2 conn.get_bucket(bucket02)#四查看一个bucket下的文件
#print(list(bucket1.list()))
#print(list(bucket2.list()))#五向s3上存储数据数据来源可以是file、stream、or string
#5.1、上传文件
#bucket1 conn.get_bucket(bucket01)
# name的值是数据的key
#key Key(bucketbucket1, namemyfile)
#key.set_contents_from_filename(/opt/123.txt)
# 读取 s3 中文件的内容返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())#5.2、上传字符串
#如果之前已经获取过对象此处不需要重复获取
bucket2 conn.get_bucket(bucket02)
key Key(bucketbucket2, namemystr)
key.set_contents_from_string(hello world)
print(key.get_contents_as_string())#六删除一个存储桶在删除存储桶本身时必须删除该存储桶内的所有key
bucket1 conn.get_bucket(bucket01)
for key in bucket1:key.delete()
bucket1.delete()4按照以上步骤执行 python 脚本测试
python3 test.py
