网站建设项目验收报告书,想做个app软件需要什么条件,张家口网站设计,江苏省网站备案概述 起初只在部分业务中采用es存储数据#xff0c;在主中心搭建了个集群#xff0c;随着es在我们系统中的地位越来越重要#xff0c;数据也越来越多#xff0c;针对它的安全性问题也越发重要#xff0c;那如何对es做异地容灾呢#xff1f; 今天咱们就一起看下官方提供的…概述 起初只在部分业务中采用es存储数据在主中心搭建了个集群随着es在我们系统中的地位越来越重要数据也越来越多针对它的安全性问题也越发重要那如何对es做异地容灾呢 今天咱们就一起看下官方提供的解决方案cross-cluster replication(简称ccr)。
环境准备
物理机96核 64G 2THDD 国产UOS系统的服务器一台 ip 192.168.229.48 通过docker快速启动2个es 节点、2个kibana节点es2个节点为2套独立集群。 名称ip版本es 172.17.0.2 172.17.0.4 7.15.0kibana7.15.0jdkopenjdk version 16.0.2 进程如下图 规划172.17.0.2 为master 172.17.0.4 为follower
设置CCR 由于CCR是收费版本如果购买公有云的服务就自带这个功能此处我们通过试用30天来体验一下。 我们先在0.4所在的kibana上打开ccr设置主节点的信息如下图 接口级设置
PUT _cluster/settings{ persistent: { cluster: { remote: { ccr_test: { skip_unavailable: false, mode: sniff, proxy_address: null, proxy_socket_connections: null, server_name: null, seeds: [ 192.168.229.48:9300 ], node_connections: 3 } } } }} 该功能采用TCP协议所以我们设置默认端口9300设置完以后如下图 并且该功能是基于索引级别的提供2种方式创建指定索引同步、自动同步按照索引规则接下来我们看下2种情况分别如何设置。
设置特定的索引同步
打开follower的kibana找到ccr设置项如下图 可以创建一个同步任务此处只能单个索引设置同步。 接口级设置
PUT /ccr_test/_ccr/follow{ remote_cluster: ccr_test, leader_index: ccr_test, max_read_request_operation_count: 5120, max_outstanding_read_requests: 12, max_read_request_size: 32mb, max_write_request_operation_count: 5120, max_write_request_size: 9223372036854775807b, max_outstanding_write_requests: 9, max_write_buffer_count: 2147483647, max_write_buffer_size: 512mb, max_retry_delay: 500ms, read_poll_timeout: 1m} 创建以后我们就可以在主节点上对索引ccr_test进行crud操作了在主节点上新增4百万的数据再去follower上查看发现数据成功同步过来。 但是这种方式有局限性因为实际生产环境可能有n个索引比如这种按天生成的日志数据索引如何同步呢总不能一个个的配置吧接下来我们就看下自动同步。
设置自动同步 我们打开自动同步添加一个自动任务通过弹框发现按照固定的格式设置索引同步 接口级设置
PUT /_ccr/auto_follow/auto-log{ remote_cluster: ccr_test, leader_index_patterns: [ log-server-* ], follow_index_pattern: {{leader_index}}} 这样我们就可以将log-server-开头的索引设置自动同步了此时我们在主节点新增一个索引
POST /log-server-2023-12-25/_doc/1{ name: John Doe, age: 30, email: johndoeexample.com}接着去从节点上看下发现数据已经同步成功 总结
以上就是es官方针对跨集群同步的解决方案官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/7.17/ccr-getting-started-tutorial.html#ccr-getting-started-tutorial 当然还有其他的方案比如应用双写、自研数据同步、MQ双写等等。对于自己维护的集群来通过MQ双写相对简单对于公有云服务还是官方的解决方案更为合适。 好了今天的分享就到这了有什么疑问欢迎留言讨论。 Elasticsearch系列经典文章 elasticsearch列一索引模板的使用 elasticsearch系列二引入索引模板后发现数据达到一定量还是慢怎么办 elasticsearch系列三常用查询语法 elasticsearch系列四集群常规运维 elasticsearch系列五集群的备份与恢复 elasticsearch系列六索引重建 elasticsearch系列七聚合查询 elasticsearch系列八如何解决聚合结果不精确问题
