做营销型网站的公司,域名信息备案管理系统官网,wordpress shopme,wordpress调用缩略图最近某头部汽车集团需要针对当前 ES 集群进行优化#xff0c;背景如下#xff1a; ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用#xff0c;合计超 50 余套集群#xff0c;累计数据超 1.5PB 。 本文针对其中一个 ES 集…最近某头部汽车集团需要针对当前 ES 集群进行优化背景如下 ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用合计超 50 余套集群累计数据超 1.5PB 。 本文针对其中一个 ES 集群进行分享该集群原本使用的是 ES 7.3.2 免费版数据已经 130TB 了14 个节点。写入数据时经常掉节点写入性能也不稳定当天的数据写不完。迫切需要新的解决方案。 分析业务场景后总结需求要点主要是写很少查。审计需求数据需要长期保存。 这个需求比较普遍处理起来也很简单
使用 Easysearch 软件只需少量节点存储近两天的数据。索引设置开启 ZSTD 压缩功能节省磁盘空间。每天索引数据写完后第二天执行快照备份存放到 S3 存储。备份成功后删除索引释放磁盘空间。需要搜索数据时直接从快照搜索。 将近期的数据存放到本地磁盘保障写入速度。写入完毕的索引在执行快照备份后可删除索引释放本地磁盘空间。
Easysearch 配置要点
path.repo: [/S3-path]
node.roles: [data,search]
node.search.cache.size: 500mbpath.repo : 指定 S3 存储路径上传快照用。node.roles : 只有 search 角色的节点才能去搜索快照中的数据。node.search.cache.size : 执行快照搜索时的缓存大小。
更多信息请参考官方文档。
旧数据迁移
通过 console 将原 ES 集群的数据迁移到新 Easysearch 集群。迁移时复制 mapping 和 setting并在 setting 中添加如下设置。
codec: ZSTD,
source_reuse: true,原索引数据量大可拆分成多个小任务。 迁移完索引存储空间一般节省 50% 左右。 原索引 279GB 迁移完后 138GB。 搜索快照数据
挂载快照后搜索快照里的索引和搜索本地的索引语法完全一样。 如何判断一个索引是在快照还是本地磁盘呢可以查看索引设置里的 settings.index.store.type 如果是 remote_snapshot 说明是快照中的数据。如果是空值则是集群本地的数据。 这次迁移节省了 6 台主机资源。更重要的是用上对象存储后主机磁盘空间压力骤减。
关于 Easysearch INFINI Easysearch 是一个分布式的近实时搜索与分析引擎核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
官网文档INFINI Easysearch | INFINI Labs
下载地址下载 | INFINI Labs
