国外摄影网站推荐,网络营销对传统营销有哪些冲击,网站制作自己做,网站权重数据包一、ElasticSearch 分片
ElasticSearch集群中有许多个节点(Node)#xff0c;每一个节点实例就是一个实例#xff1b;数据分布在分片之间。集群的容量和性能主要取决于分片如何在节点上如何分配。将数据分片是为了提高可处理的容量和易于进行水平扩展#xff0c;为分片做副本…一、ElasticSearch 分片
ElasticSearch集群中有许多个节点(Node)每一个节点实例就是一个实例数据分布在分片之间。集群的容量和性能主要取决于分片如何在节点上如何分配。将数据分片是为了提高可处理的容量和易于进行水平扩展为分片做副本是为了提高集群的稳定性和提高并发量。每个分片之间是相互独立的对于搜索request 每个分片都会执行。
二、分片
分片好比在 Mysql中 的分表将数据分布在多张表中。
主分片shard主分片是数据的容器文档保存在主分片内主分片又被分配到集群内的各个节点里。每个shard都是一个lucene的索引文件(index)。
副本分片replica副本是对主分片的Copy同步存储主分片的数据内容。为了达到高可用当分片所在的物理节点宕机ES可以使用副本机制进行恢复从而避免数据丢失.。一个分片只能存放 Integer.MAX_VALUE - 128 2,147,483,519个docs。
※并不是副分片越多越好因为每个分片都相当于一个索引文件会占用一定的文件句柄、内存及cpu并且分片间的数据同步也会占用一定的网络带宽。副本是乘法越多消耗越大但也越保险。分片是除法分片越多单分片数据就越少也越分散。
※在主分片挂掉后会从副本分片中选举一个升级为主分片当副本升级为主分片后由于少了一个副本分片所以集群状态会从green改变为yellow但是此时集群仍然可用。在一个集群中有一个分片的主分片和副本分片都挂掉后集群状态会由yellow改变red集群状态为red时集群不可正常使用。
※由于elasticSearch 通过路由定位公式找到每一个数据对应的具体分片的。
shard hash(routing)%number_of_primary_shards
routing的默认值就是这个document的_id也可以手动指定这也说明了主分片数一旦定下来就不能再改变的原因因为分片数改变后所有之前的路由值都会变得无效之前的文档数据也就找不到了。
三、节点
Master节点职责是和集群操作相关的内容如创建或删除索引跟踪哪些节点是集群的一部分并决定哪些分片分配给相关的节点稳定的主节点对集群的健康是非常重要的。
节点对等每个节点都能接收请求每个节点接收到请求后都能把该请求路由到有相关数据的其他节点上接收原始请求的节点负责采集数据并返回给客户端。
协调节点一个写请求被发送到集群的一个节点后该节点称为协调节点。其职责是广播查询请求到所有相关分片并将它们的响应整合成全局排序后的结果集合后返回给客户端。
※增加和删除节点会自动平衡 shard 在剩余节点中的分配。
※如果集群中只有一个节点就没有地方分配副本此时副本的状态就是unassigned(未分配的分片)也就是说主副分片不能存在于同一台机器上。
※一旦集群中的节点发生变化它们就会协商谁将成为主节点ES中所有节点都有机会成为主节点可以通过设置主节点的最小数量防止脑裂(split brain)问题一般的规则是集群节点数除以2(向下取整)再加一。
四、查询和写入过程
查询当协调节点收到查询 request 时先在本地创建一个大小为 from size 的空优先队列然后将请求广播到索引的每个分片中分片在本地执行查询并添加结果到本地有序优先队列中后返回给协调节点协调节点将分片级的结果合并到自己的有序优先队列里并返回。
写入通过 routing 以及协调节点确定写到具体的某个主分片上后并发的向所有副本同步数据(乐观锁)所有副本同步完成后即为成功(类似 kafka 的ACK应答机制)
※ElasticSearch 通过增加 translog日志保证数据存储可靠性。
当新增了一个文档数据后首先被写入内存中如果此时宕机数据将会丢失为此新增 translog 日志记录数据translog 是追加写入因此性能比较好。 通过不断的执行 refresh 操作(操作间隔大约1s)将数据以段 (segment) 的形式提交到文件缓存系统中此时虽然还真正的落盘但是可以正常打开并读取文件。由于 refresh 操作会产生大量很小的段(segment)ES会对符合条件的segment进行合并操作减少lucene中的segment个数提高查询速度降低负载。 随着 每30分钟或当translog达到一定大小ES会触发一次flush操作将所有内存中的 segment fsync到磁盘数据就完成了持久化。 标题 Tip: 为什么不直接刷到磁盘而是写入文件缓存系统
每30分钟或当translog达到一定大小(由index.translog.flush_threshold_size控制默认512mb)ES会触发一次flush操作
fsync 操作代价很大如果每次索引一个文档都去执行一次的话会造成很大的性能问题但是这里新segment会被先写入到文件系统缓存这一步代价会比较低
