门户网站内容,wordpress上下页,电子商务网站建设 故宫官网,用软件做网站一.前言
elk是流行的日志监控分析平台#xff0c;但es占用存储空间过大#xff0c;下面介绍几种压缩方案。
二.方案
1.禁用不需要的特性
不需要分词的字段#xff0c;禁用text类型#xff0c;使用keyword.#xff08;我们所有字段都是keyword#xff09;
2.使用更高…一.前言
elk是流行的日志监控分析平台但es占用存储空间过大下面介绍几种压缩方案。
二.方案
1.禁用不需要的特性
不需要分词的字段禁用text类型使用keyword.我们所有字段都是keyword
2.使用更高效率的压缩算法
es默认压缩算法是LZ4在es7.10之后提供了一种压缩比更高的算法DEFLATELZ4和DEFLATE算法比较
算法压缩比压缩速度解压速度压缩内存占用解压内存占用DEFLATE高慢慢少少LZ4低快快多多
3.定期force_merge
为不再更新的只读索引执行force merge将Lucene索引合并为单个分段可以提升查询速度。当一个Lucene索引存在多个分段时每个分段会单独执行搜索再将结果合并另外执行force_merge后也会释放无法被GC的segmentCache另一种是close掉索引。所以将只读索引强制合并为一个Lucene分段不仅可以优化搜索过程减少内存占用对索引恢复速度也有好处。 例如每天生成一个新的索引然后用别名关联或者使用索引通配符。这样可以每天凌晨对昨天的索引执行force-merge。
三.总结
压缩算法将LZ4改为Deflate空间占用量可以下降10%。Elasticsearch统计的索引大小是整个索引所占空间空间的大小整个索引包括很多文件比如tim词典tip词典索引pos位置信息fdt存储字段信息_source实际存储的文件等等。Elasticsearch中codec: “best_compression” 也就是DEFLATE和LZ4压缩算法是对fdt这个文件进行压缩。
