dw用表格做网站,网络公司做网站后交代给客户什么,个人网页内容,广西南宁建设银行招聘网站目录 简略说明 原理 用法 详细说明 简介 用法 一 安装 二 简单验证 三 编写配置文件 四 提交配置文件下IO 五 测试结果查看 结果概览 查看详情 每秒钟的io情况查看 工作负载配置 参数配置#xff08;controller和driver#xff09; 查看错误的方法和错误记录 查看错误的方法 … 目录 简略说明 原理 用法 详细说明 简介 用法 一 安装 二 简单验证 三 编写配置文件 四 提交配置文件下IO 五 测试结果查看 结果概览 查看详情 每秒钟的io情况查看 工作负载配置 参数配置controller和driver 查看错误的方法和错误记录 查看错误的方法 错误记录 简略说明 COSBench是一个用于测试对象存储系统的分布式基准测试工具 原理 存储集群建立网关,cosbench连接网关根据用户提交的xxx.xml向集群下IO(网关地址,key,和怎么下IO在配置文件xxx.xml中配置了) 用法 1,安装: 下载cosbenchhttps://github.com/intel-cloud/cosbench工具放到压力机上解压。 COSBench0.4.2.c4.zip资源-CSDN文库 2,启动cosbench服务: sh start-all.sh 这个时候就可以访问你启动的cosbench了 http://IP:19088/controller/index.html #IP替换成实际地址 3,编写xml配置文件 (集群提前创建好网关,客户端(key))样例如下文章后面会教你怎么写。 4,提交任务(xml配文件) 在主页 http://IP:19088/controller/index.html 点击submit new workloads然后选择你编写的xml配置文件提交cosbench就开始向你xml里面知道网关按xml里面定义的操作向集群下IO 详细说明 简介 COSBench是Intel团队基于java开发对云存储的测试工具全称是Cloud object Storage Bench cosbench 由两个主要组件组成Driver和Controller。 DriverLoad Generator打工的 负责生成工作负载向目标对象存储发出操作读取用户的xml配置向集群下IO性能统计。可通过http://:18088/driver/index.html访问 Controller工头 负责协调drivers集体执行工作收集和汇总聚合来自driver实例的运行时状态或基准测试结果。就是比如你要多台服务器做压力机在一台机器做ControllerController根据配置控制多台压力机下某个集群下IO 两个组件可以混合部署在一个节点上也可以分开来部署.比如我们如果只有一台服务器做压力机那我们就Controller和Driver都在这台机器上启动这台机器既是工头又是打工的自己控制自己下IO 下图是一个服务器做Controller控制两台机器下IO 做工头Controller的服务器启动start-Controller.sh脚本做打工driver的服务器启动start-driver.sh脚本只有一台服务的情况即做工头Controller又打工driver的即启动start-all.sh 工头控制那些打工的通过conf/controller.conf文件配置如下只有一个打工的driver1 更详细的配置见后面的《参数配置controller和driver》 用法 一 安装 1、 下载COSBench工具 下载地址为https://github.com/intel-cloud/cosbench下载最新的包 COSBench0.4.2.c4.zip资源-CSDN文库 2、 将包放至linux任意目录中进行解压unzip xxx.zip 3、 解压后里面有说明文档COSBenchUserGuide.pdf 4、 安装依赖java 和curl yum install java curl COSBench底层调用了linux nc来做数据分析所以如果linux没装nc的需要手工安装nc 2、文件说明 官方英文使用文档超详细可以翻翻看 [rootceph-node1 0.4.2.c4]# ll *.pdf3rd-party-licenses.pdfCOSBenchAdaptorDevGuide.pdf
COSBenchUserGuide.pdf服务调用脚本说明[rootceph-node1 0.4.2.c4]# ll *.sh
cli.sh #通过命令行操作cosbench
cosbench-start.sh #其他启动脚本调用的脚本
cosbench-stop.sh #其他启动脚本调用的脚本
start-all.sh #在当前节点启动driver和controller组件
stop-all.sh #在当前节点停止driver和controller组件
start-controller.sh #在当前节点启动controller
start-driver.sh #在当前节点启动driver
stop-controller.sh #在当前节点关闭controller
stop-driver.sh #在当前节点关闭driver 二 简单验证 启动cosbench 启动前为了保证driver和controller之间交互正常需要关闭HTTP代理 [rootceph-node1 0.4.2.c4]# unset http_proxy 启动controller和driver 服务器即做工头又做打工的 [rootceph-node10.4.2.c4]# sh start-all.sh 验证 controller在初始化时读取conf/controller.conf配置文件启动控制器服务,看配置文件可知controller的访问地址是http://IP:19088/controller/index.html 访问http://IP:19088/controller/index.html验证。 三 编写配置文件 cosbench使用负载配置文件向对象存储下发测试任务。 负载配置文件含如下参数 网关节点ip和端口或者高可用组的vip和端口或者域名和端口对象存储用户的ak/sk 在conf目录下有很多配置样例详细说明见后面的《工作负载配置》 四 提交配置文件下IO 有两种方法 1命令行 bash cli.sh submit conf/s3-config-sample.xml 访问http://IP:19088/controller/index.html 就可以看到执行情况 2web界面提交 在主页 http://IP:19088/controller/index.html 点击submit new workloads然后选择xml配置文件 五 测试结果查看 结果概览 每个阶段执行完后可以在web界面看到iops、带段等结果 General Report这一栏每个值的含义如下 Op-Type : 操作类型Op-Count : 操作总数Byte-Count : 操作产生的ByteAvg-ResTime平均时延它为存储服务处理请求的时间包含数据传输时间一般小文件比如KB级别我们也会关注这个值此值越低小文件的IOPS越好Avg-ProcTime平均处理时间它为存储服务处理请求的时间不包含数据传输时间Throughput吞吐量当我们的文件粒度为1M及以下时着重关注这个值描述了当前文件粒度下的读写等性能IOPSBandwidth带宽当我们的文件粒度为1M以上时着重关注这个值描述了当前文件粒度下的读写等性能MB/s等单位Succ-Ratio请求成功率这里一般都要求100% 也可以在任务ID在cosbench安装目录的archive子目录中看到测试结果 每个任务ID对应的目录下都按照阶段生成了相应的csv文件下载对应的csv文件用execel查看即可 查看详情 每秒钟的io情况查看 如查看widw12sids2-prepare 的每秒钟IO 在将 http://10.255.136.7:19088/controller/stage.html?widw12sids2-prepare 中的stage.html 改成 timeline.html 回车即可 工作负载配置 在conf目录下有很多配置样例 进入conf目录下查看s3-config-sample.xml配置文件内容如下: 配置参数和说明: ?xml version1.0 encodingutf-8? !--workload name : 测试时显示的任务名称,可自定义;description : 描述信息-- workload names3-sample descriptionsample benchmark for s3 !--storage type: 存储类型这里配置为s3即可-- storage types3 configaccesskey填访问key;secretkey填安全key;proxyhost填代理ip或域名,可以不使用代理;proxyport如果用了代理,填代理端口;endpoint填对象存储系统的网关的地址http:/ip:端口; / !--workflow工作流,workstage name:cosbench是分阶段按顺序执行每个阶段的名字-- workflow workstage nameinit !--workers:该阶段开启多少工作线程;config:存储桶bucket的名称前缀;containers:轮询数如本例创建以s3testqwer为前缀后缀分别为1和2的bucket-- work typeinit workers1 configcprefixs3testqwer;containersr(1,2) / /workstage !--prepare阶段,配置写入的数据;workers\config\containers与init阶段相同;objects:一轮写入多少个对象以及object的大小-- workstage nameprepare !--一个worker处理该阶段,r就是range,轮询1,2两个容器(桶)前缀是s3testqwer,每个容器写入10个 objecter尺寸是64KB-- work typeprepare workers1 configcprefixs3testqwer;containersr(1,2);objectsr(1,10);sizesc(64)KB / /workstage !--main阶段:测试阶段;runtime:运行的时间,默认为秒-- workstage namemain work namemain workers8 runtime30 !--op type:操作类型read、write、delete等;ratio操作占比,read的比例为80%,write的比例为20%; -- operation typeread ratio80 configcprefixs3testqwer;containersu(1,2);objectsu(1,10) / operation typewrite ratio20 configcprefixs3testqwer;containersu(1,2);objectsu(11,20);sizesc(64)KB / /work /workstage !--清理阶段:主要是删除bucket中的数据保证测试后的数据不会保留在集群中-- workstage namecleanup work typecleanup workers1 configcprefixs3testqwer;containersr(1,2);objectsr(1,20) / /workstage !--dispose阶段:删除bucket-- workstage namedispose work typedispose workers1 configcprefixs3testqwer;containersr(1,2) / /workstage /workflow /workload workload name : 测试时显示的任务名称这里可以自行定义 description : 描述信息这里可以自己定义 storage type: 存储类型这里配置为s3即可 config : 对该类型的配置 workstage name : cosbench是分阶段按顺序执行此处为init初始化阶段主要是进行bucket的创建 workers表示执行该阶段的时候开启多少个工作线程创建bucket通过不会计算为性能所以单线程也可以; config处配置的是存储桶bucket的名称前缀; containers表示轮询数上例中将会创建以s3testqwer为前缀后缀分别为1和2的bucket prepare阶段 : 配置为bucket写入的数据workers和config以及containers与init阶段相同除此之外还需要配置objects表示一轮写入多少个对象以及object的大小。 main阶段 : 这里是进行测试的阶段runtime表示运行的时间时间默认为秒 operation type : 操作类型可以是read、write、delete等。 ratio表示该操作所占有操作的比例例如上面的例子中测试读写read的比例为80%,write的比例为20%; config中配置bucket的前缀后缀信息。注意write的sizes可以根据实际测试进行修改 cleanup阶段 : 这个阶段是进行环境的清理主要是删除bucket中的数据保证测试后的数据不会保留在集群中 dispose阶段 : 这个阶段是删除bucket 参数配置controller和driver 测试案例配置 cosbench工具使用按照流程可分为以下几个步骤参数配置--服务启动--提交测试--分析结果 示例使用三个节点联机测试配置示意如下 调整时差客户机和集群的时差不要太大。 4.1 参数配置 controller和driver依赖不同系统配置来启动服务在启动controller和driver服务时需要先行定义角色配置 一、controller配置 controller在初始化时读取conf/controller.conf配置文件启动控制器服务 [rootnode241 0.4.2.c4]# cat conf/controller.conf [controller] concurrency1 drivers3 log_levelINFO log_filelog/system.log archive_dirarchive [driver1] namedriver1 urlhttp://66.66.66.241:18088/driver [driver2] namedriver2 urlhttp://66.66.66.242:18088/driver [driver3] namedriver3 urlhttp://66.66.66.243:18088/driver [controller] concurrency:默认值为1表示可以同时执行的工作负载数量 drivers:默认值为1表示此controller控制的driver数量 log_level:默认值为INFO可选值为TRACE、DEBUG、INFO、WARN、ERROR表示日志打印等级 log_file:默认值为log/system.log表示日志文件存放位置 archive_dir:默认值为archive表示工作负载结果存放位置当参数值为archive则工作负载结果存放于0.4.2/archive目录内 [driver#x] 当有多个driver时第{n}个driver命名为[driver{n}] name:用于标识driver节点的标签名称可以自定义 url:访问driver节点的地址 二、driver配置 driver在初始化时读取conf/driver.conf配置文件启动负载器服务。 [rootnode241 0.4.2.c4]# cat conf/driver.conf [driver] name127.0.0.1:18088 urlhttp://127.0.0.1:18088/driver 查看错误的方法和错误记录 查看错误的方法 1点击download-log 下载log 查看下载下来log内容 1、main阶段failed 点击“view details”找到Mission ID 在cosbench安装目录的log/mission目录下找到该mission id对应的日志文件从日志文件中查看报错 错误记录 Status Code: 500 Status Code: 5002024-03-11 20:36:36,483 [ERROR] [AbstractOperator] - worker 13 fail to perform operation s3testqwer25com.intel.cosbench.api.storage.StorageException: com.amazonaws.services.s3.model.AmazonS3Exception: We encountered an internal error, please try again.: cause(save bucket metadata to ns failed!s3testqwer25) (Service: Amazon S3; Status Code: 500; Error Code: InternalError; Request ID: 17BBB600BD8B7581), S3 Extended Request ID: 1a6d04ea-b557-4018-9ced-cc23e3798466at com.intel.cosbench.api.S3Stor.S3Storage.createContainer(S3Storage.java:149)at com.intel.cosbench.driver.operator.Preparer.doInit(Preparer.java:113)at com.intel.cosbench.driver.operator.Preparer.operate(Preparer.java:87)at com.intel.cosbench.driver.operator.AbstractOperator.operate(AbstractOperator.java:76)at com.intel.cosbench.driver.operator.Initializer.operate(Initializer.java:1)at com.intel.cosbench.driver.agent.WorkAgent.performOperation(WorkAgent.java:197)at com.intel.cosbench.driver.agent.WorkAgent.doWork(WorkAgent.java:177)at com.intel.cosbench.driver.agent.WorkAgent.execute(WorkAgent.java:134)at com.intel.cosbench.driver.agent.AbstractAgent.call(AbstractAgent.java:44)at com.intel.cosbench.driver.agent.AbstractAgent.call(AbstractAgent.java:1)at java.util.concurrent.FutureTask.run(FutureTask.java:266)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)at java.lang.Thread.run(Thread.java:748) 原因 1,对象数据池没有创建 which: no nc in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin) 如果不安装nc会报错 which: no nc in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin) Ncat: Connection refused. No appropriate tool found to detect cosbench driver status. 如果不安装java会报 Ncat: Connection refused. 启动失败 摘自尝试在CentOS 7上启动cosbench遭遇的一些问题 - 之一 - 中道学友 - 博客园 (cnblogs.com) 尝试启动cosbench遭遇报错 [root]hopisdtmelabs14# cat driver-boot.log /tmp/cosbench/0.4.2/log
java.net.BindException: Address already in use (Bind failed)at java.net.PlainSocketImpl.socketBind(Native Method)at java.net.AbstractPlainSocketImpl.bind(AbstractPlainSocketImpl.java:387)at java.net.ServerSocket.bind(ServerSocket.java:375)at java.net.ServerSocket.init(ServerSocket.java:237)at java.net.ServerSocket.init(ServerSocket.java:128)at org.eclipse.osgi.framework.internal.core.ConsoleManager.startConsole(ConsoleManager.java:186)at org.eclipse.osgi.framework.internal.core.ConsoleManager.startConsole(ConsoleManager.java:132)at org.eclipse.core.runtime.adaptor.EclipseStarter.startup(EclipseStarter.java:269)at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:175)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.eclipse.equinox.launcher.Main.invokeFramework(Main.java:622)at org.eclipse.equinox.launcher.Main.basicRun(Main.java:577)at org.eclipse.equinox.launcher.Main.run(Main.java:1410)at org.eclipse.equinox.launcher.Main.main(Main.java:1386)!SESSION 2020-06-03 06:04:23.609 -----------------------------------------------eclipse.buildIdunknown
java.version1.8.0_181
java.vendorOracle Corporation
BootLoader constants: OSlinux, ARCHx86_64, WSgtk, NLen_US
Command-line arguments: -console 18089
!ENTRY org.eclipse.osgi 4 0 2020-06-03 06:04:24.132
!MESSAGE Bundle plugins/cosbench-castor not found. 看起来像是网络端口18089已经被占用了杀掉那些进程问题解决。 如何找到占用18089端口的进程举例如下 # netstat -tulpn | grep 18089 /tmp/cosbench/cos/conftcp6 0 0 :::18089 :::* LISTEN 4090/java# ps aux | grep java /tmp/cosbench/cos/confroot 4090 0.0 0.4 21453452 315076 ? Sl 10:39 0:18 java -Dcosbench.tomcat.configconf/driver-tomcat-server.xml -server -cp main/org.eclipse.equinox.launcher_1.2.0.v20110502.jar org.eclipse.equinox.launcher.Main -configuration conf/.driver -console 18089root 4822 0.3 0.3 20319980 262324 pts/0 Sl 21:13 0:07 java -Dcosbench.tomcat.configconf/controller-tomcat-server.xml -server -cp main/org.eclipse.equinox.launcher_1.2.0.v20110502.jar org.eclipse.equinox.launcher.Main -configuration conf/.controller -console 19089root 4965 0.0 0.0 112828 2316 pts/0 S 21:46 0:00 grep --colorauto java 可以看出来在上面的例子中4090就是占用了18089端口的进程号了通过ps aux 还能看到详细的命令行参数。 但cosbench driver 还是启动不了。 [root]hopisdtmelabs14# bash ./start-driver.sh /tmp/cosbench/cosLaunching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench driver ...
which: no nc in (/usr/local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/tme/bin:/usr/local/tme/tme_portal/perf_web/bin)
No appropriate tool found to detect cosbench driver status. 看报错应该是ncncat这个软件没有安装。可是通过yum还没法正常安装。我通过下面的命令解决了这个问题
# yum -y install wget
# wget https://nmap.org/dist/ncat-7.80-1.x86_64.rpm
# yum localinstall ncat-7.80-1.x86_64.rpm
# cd /usr/bin
# ln -s ncat nc 装好了nc之后还是有错误。 # bash ./start-driver.sh /tmp/cosbench/cosLaunching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench driver ...
...........................................................
Starting cosbench-log_0.4.2 [ERROR]
...........................................................
Starting cosbench-tomcat_0.4.2 [ERROR]
..........................................................
Starting cosbench-config_0.4.2 [ERROR]
...........................................................
Starting cosbench-http_0.4.2 [ERROR] 我怀疑是我的java的版本过高所以卸掉java 8 安装java 7。 # rpm -aq | grep -i jdk /tmp/cosbench/cosjava-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64
copy-jdk-configs-3.3-10.el7_5.noarch
java-1.8.0-openjdk-headless-1.8.0.181-3.b13.el7_5.x86_64# rpm -e java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64
# rpm -e java-1.8.0-openjdk-headless-1.8.0.181-3.b13.el7_5.x86_64
# yum remove java 安装java 7. #yum install java-1.7.0-openjdk 结果遇到了报错说有两个软件包太旧了达不到安装的要求。 尝试安装更新结果还是报错无法更新。 [Errno 14] HTTP/HTTPS Error 404 于是执行下面的命令对yum进行修复。 #yum clean all #rm -rf /var/cache/yum/* 之后java 7也成功安装了。 但还是报错 # cat driver-boot.log /tmp/cosbench/cos/log
Listening on port 0.0.0.0/0.0.0.0:18089 ...
!SESSION 2020-06-03 10:12:59.683 -----------------------------------------------
eclipse.buildIdunknown
java.version1.7.0_261
java.vendorOracle Corporation
BootLoader constants: OSlinux, ARCHx86_64, WSgtk, NLen_US
Command-line arguments: -console 18089
!ENTRY org.eclipse.osgi 4 0 2020-06-03 10:13:00.367
!MESSAGE Bundle plugins/cosbench-castor not found.
!ENTRY org.eclipse.osgi 4 0 2020-06-03 10:13:00.368
!MESSAGE Bundle plugins/cosbench-log4j not found.
!ENTRY org.eclipse.osgi 4 0 2020-06-03 10:13:00.368
!MESSAGE Bundle plugins/cosbench-log6:start not found.
!ENTRY org.eclipse.osgi 4 0 2020-06-03 10:13:00.369
!MESSAGE Bundle plugins/cosbench-config6:start not found.…… Github的cosbench的站点里的issue#383里的步骤具体步骤描述在这篇文章即删掉cosbench-start.sh里的一行如下我也试过了并没有解决问题。 TOOL_PARAMS-i 0 -----Delete this line 经过查询找到了这篇文章推荐不要使用正式版的0.4.2推荐试试0.4.2.c4, 于是下载了更早的一个版本0.4.2.c4。 问题解决了终于成功启动了cosbench driver。 # bash ./start-driver.sh /tmp/cosbench/0.4.2.c4
Launching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench driver ...
.
Starting cosbench-log_0.4.2 [OK]
.
Starting cosbench-tomcat_0.4.2 [OK]
Starting cosbench-config_0.4.2 [OK]
Starting cosbench-http_0.4.2 [OK]
Starting cosbench-cdmi-util_0.4.2 [OK]
Starting cosbench-core_0.4.2 [OK]
Starting cosbench-core-web_0.4.2 [OK]
Starting cosbench-api_0.4.2 [OK]
Starting cosbench-mock_0.4.2 [OK]
Starting cosbench-ampli_0.4.2 [OK]
Starting cosbench-swift_0.4.2 [OK]
Starting cosbench-keystone_0.4.2 [OK]
Starting cosbench-httpauth_0.4.2 [OK]
Starting cosbench-s3_0.4.2 [OK]
Starting cosbench-librados_0.4.2 [OK]
Starting cosbench-scality_0.4.2 [OK]
Starting cosbench-cdmi-swift_0.4.2 [OK]
Starting cosbench-cdmi-base_0.4.2 [OK]
Starting cosbench-driver_0.4.2 [OK]
Starting cosbench-driver-web_0.4.2 [OK]
Successfully started cosbench driver!
Listening on port 0.0.0.0/0.0.0.0:18089 ...
Persistence bundle starting...
Persistence bundle started.
----------------------------------------------
!!! Service will listen on web port: 18088 !!!
---------------------------------------------- 不知道为什么在CentOS 7上运行0.4.2 明显的有问题却还不被修复结果还要去使用稍早的版本release candidate 4, 这个事儿弄的挺恶心的。 To the English readers:
I document the process and issues here in detail, hope other people hit on the same issue can see it, and save time. 参考资料
How to check if port is in use on Linux or Unix
https://www.cyberciti.biz/faq/unix-linux-check-if-port-is-in-use-command/
NETCAT THE MULTI-PURPOSE NETWORKING TOOL
landoflinux.com
Uninstall JDK rpm to reinstall
centos - Uninstall JDK rpm to reinstall - Unix Linux Stack Exchange
yum-errors
https://wiki.centos.org/yum-errors
CosBench on Red Hat Linux
http://www.vtechdiary.com/2018/09/cosbench-on-red-hat-linux.html
Cant start the system #380
Cant start the system · Issue #380 · intel-cloud/cosbench · GitHub 参考资料 使用COSBench工具對ceph s3接口進行壓力測試--續 - JavaShuo 尝试在CentOS 7上启动cosbench遭遇的一些问题 - 之一 - 中道学友 - 博客园 (cnblogs.com)
