正规的营销型网站建设,中国石化工程建设有限公司怎么样,aspnet网站开发实例论文,建app需要多少钱在本教程中#xff0c;我们将学习如何使用 Docker Compose 部署一个带有三节点的 ClickHouse 集群#xff0c;并使用 ZooKeeper 作为分布式协调服务。
前提条件
注意事项#xff1a;
镜像版本号注意保持一致 [zookeeper:3.7, clickhouse/clickhouse-server:22.5.4]config…在本教程中我们将学习如何使用 Docker Compose 部署一个带有三节点的 ClickHouse 集群并使用 ZooKeeper 作为分布式协调服务。
前提条件
注意事项
镜像版本号注意保持一致 [zookeeper:3.7, clickhouse/clickhouse-server:22.5.4]config里面的参数有些是必须的日志报错缺少参数去官方文档里找 config.xm参数官网
在开始之前请确保您的系统已经安装了以下工具
DockerDocker Compose
目录结构
首先我们需要为 ClickHouse 集群创建目录结构来存放数据和配置文件。执行以下命令来创建目录
mkdir -p clickhouse_cluster/{zkdata,zkdatalog,data/clickhouse01,data/clickhouse02,data/clickhouse03,config/clickhouse01,config/clickhouse02,config/clickhouse03}第一步编写 docker-compose.yml 文件
在 clickhouse_cluster 目录下创建 docker-compose.yml 文件这个文件定义了 ZooKeeper 和三个 ClickHouse 节点。为了安全性我们会替换敏感数据如密码。
version: 3.8services:zookeeper:image: zookeeper:3.7container_name: zookeeperrestart: alwaysports:- 2181:2181environment:ZOO_MY_ID: 1volumes:- ./zkdata:/data- ./zkdatalog:/datalog clickhouse01:image: clickhouse/clickhouse-server:22.5.4container_name: clickhouse01restart: alwaysports:- 8123:8123 # HTTP 接口- 9000:9000 # TCP 接口- 9009:9009 # Internode 通信接口volumes:- ./data/clickhouse01:/var/lib/clickhouse- ./config/clickhouse01:/etc/clickhouse-serverenvironment:CLICKHOUSE_DB: defaultCLICKHOUSE_PASSWORD: your_secure_passworddepends_on:- zookeeperclickhouse02:image: clickhouse/clickhouse-server:22.5.4container_name: clickhouse02restart: alwaysports:- 8124:8123 # HTTP 接口- 9001:9000 # TCP 接口- 9010:9009 # Internode 通信接口volumes:- ./data/clickhouse02:/var/lib/clickhouse- ./config/clickhouse02:/etc/clickhouse-serverenvironment:CLICKHOUSE_DB: defaultCLICKHOUSE_PASSWORD: your_secure_passworddepends_on:- zookeeperclickhouse03:image: clickhouse/clickhouse-server:22.5.4container_name: clickhouse03restart: alwaysports:- 8125:8123 # HTTP 接口- 9002:9000 # TCP 接口- 9011:9009 # Internode 通信接口volumes:- ./data/clickhouse03:/var/lib/clickhouse- ./config/clickhouse03:/etc/clickhouse-serverenvironment:CLICKHOUSE_DB: defaultCLICKHOUSE_PASSWORD: your_secure_passworddepends_on:- zookeeper关键点说明
ZookeeperZookeeper 用于协调 ClickHouse 集群中的分布式事务。ClickHouse 节点我们设置了三个 ClickHouse 节点clickhouse01、clickhouse02 和 clickhouse03它们通过不同的端口进行通信。密码为了安全性密码使用占位符 your_secure_password请确保使用强密码替换。
第二步编写 ClickHouse 配置文件
接下来创建每个 ClickHouse 节点的配置文件。以 config/clickhouse01/config.xml 为例其他节点的配置类似。我们将替换原始文件中的敏感信息。
在 clickhouse_cluster/config/clickhouse01 目录下创建 config.xml 文件
yandexprofilesdefaultmax_memory_usage10000000000/max_memory_usagereadonly0/readonly/default/profilespath/var/lib/clickhouse//pathtmp_path/var/lib/clickhouse/tmp//tmp_pathuser_files_path/var/lib/clickhouse/user_files//user_files_path http_port8123/http_port loggerlog/var/log/clickhouse-server/clickhouse.log/logerrorlog/var/log/clickhouse-server/clickhouse_error.log/errorlog/loggerformat_schema_path/var/lib/clickhouse/format_schemas//format_schema_pathdefault_profiledefault/default_profileusers_configusers.xml/users_configmark_cache_size5368709120/mark_cache_sizezookeepernodehostzookeeper/hostport2181/port/node/zookeepertcp_port9000/tcp_portremote_serversmy_clickhouse_clustershardreplicahostclickhouse01/hostport9000/port/replicareplicahostclickhouse02/hostport9000/port/replica/shardshardreplicahostclickhouse03/hostport9000/port/replica/shard/my_clickhouse_cluster/remote_serverslisten_host::/listen_hostlisten_host0.0.0.0/listen_host
/yandex关键配置说明
ZooKeeper配置了 ClickHouse 连接 Zookeeper使用 zookeeper:2181 地址。集群配置remote_servers 配置了集群中的三个节点分别对应 clickhouse01、clickhouse02 和 clickhouse03。
第三步编写 users.xml 文件
在 config/clickhouse01/ 目录下创建 users.xml 文件用于定义用户及其权限。为了安全起见密码将以占位符形式存在。
?xml version1.0?
yandexprofilesdefaultmax_memory_usage10000000000/max_memory_usageuse_uncompressed_cache0/use_uncompressed_cacheload_balancingrandom/load_balancing/default/profilesusersdefaultpasswordyour_secure_password/password!-- Password could be specified in plaintext or in SHA256 (in hex format).If you want to specify password in plaintext (not recommended), place it in password element.Example: passwordqwerty/password.Password could be empty.If you want to specify SHA256, place it in password_sha256_hex element.Example: password_sha256_hex65e84be33532fb784c48129675f9eff3a682b27168c0ea744b2cf58ee02337c5/password_sha256_hexHow to generate decent password:Execute: PASSWORD$(base64 /dev/urandom | head -c8); echo $PASSWORD; echo -n $PASSWORD | sha256sum | tr -d -In first line will be password and in second - corresponding SHA256.也可以使用加密的密码用上面的shell命令就可以生成--!-- password_double_sha1_hex/password_double_sha1_hex --networks inclnetworks replacereplaceip::1/ipip127.0.0.1/ip/networksprofiledefault/profilequotadefault/quota/defaultreadonly_userpasswordyour_readonly_password/passwordnetworks inclnetworks replacereplaceip::/0/ip/networksprofilereadonly/profilequotadefault/quota/readonly_user/users
/yandex用户权限说明
default 用户具有默认的读写权限。readonly_user 用户具有只读权限并且可以从任意 IP 访问。
第四步启动 ClickHouse 集群
在 clickhouse_cluster 目录下运行以下命令来启动整个集群
docker-compose up -ddocker-compose up -d 将启动所有服务包括 ZooKeeper 和三个 ClickHouse 节点。
第五步验证集群部署 1.运行以下命令查看容器状态 docker-compose ps确保所有容器都处于 “Up” 状态。 2.通过 HTTP 接口访问任意 ClickHouse 节点查看是否可以成功连接 curl http://localhost:8123返回类似于 Ok. 的响应即表示成功。 3.从单节点查询集群状态 docker exec -it clickhouse01 bash
clickhouse-clientselect * from system.clusters;
select * from system.zookeeper where path/clickhouse;六文件夹结构 参考链接 https://www.cnblogs.com/yoyo1216/p/13731225.html https://www.cnblogs.com/syw20170419/p/16250500.html https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings
