物流网站设计与实现,制作公司内部募捐网站,彩虹云商城网站搭建,大型外贸网站建设文章目录 〇、简介1.Elasticsearch简介2.典型业务场景3.数据采集工具4.名词解释 一、安装1.使用docker(1)创建虚拟网络(2)Elasticsearch安装步骤 2.使用压缩包 二、配置1.目录介绍2.配置文件介绍3.elasticsearch.yml节点配置4.jvm.options堆配置 二、可视化工具Kibana1.介绍2.安… 文章目录 〇、简介1.Elasticsearch简介2.典型业务场景3.数据采集工具4.名词解释 一、安装1.使用docker(1)创建虚拟网络(2)Elasticsearch安装步骤 2.使用压缩包 二、配置1.目录介绍2.配置文件介绍3.elasticsearch.yml节点配置4.jvm.options堆配置 二、可视化工具Kibana1.介绍2.安装Docker 参考 Elasticsearch版本7.12.1 Kibana版本7.12.1 操作系统centos7
〇、简介
1.Elasticsearch简介
什么是Elasticsearch
Elasticsearch是一个提供可扩展的企业级搜索服务的工具。它主要提供了大数据搜索和分析服务。相较于传统的关系数据库Elasticsearch具有更高的性能、易扩展性和良好的容错性。
传统数据库的局限性
传统的关系数据库在处理大数据时存在明显的短板主要表现在性能差和扩展难的问题上。即使采用一定的方法去优化SQL查询速度依然可能很慢而关系数据库的集群搭建也不太容易查询性能在很多业务场景中依然没有保障。
Elasticsearch的优势
相较于关系数据库Elasticsearch存在几个明显的优点高性能、易扩展和良好的容错性。它使用倒排索引作为存储结构并大量使用缓存机制能够非常快速地从海量的数据中查询出需要的结果。搭建多个Elasticsearch节点组成一个集群对外提供分布式的搜索服务也非常简单而且每个索引可以配置副本机制即使Elasticsearch有部分服务器宕机也不用担心数据丢失。
2.典型业务场景
Elasticsearch在以下几个典型的业务场景中有着广泛的应用
在线实时日志分析
使用Elasticsearch分析线上日志是十分常见的操作从最初的ELK(Elasticsearch、Logstash、Kibana)平台到如今的Elastic Stack都包含开箱即用的在线日志采集、存储、分析的功能使用起来快捷、方便。
物联网数据监控
对于各种传感器设备、可穿戴设备实时产生的各种需要监控和分析的数据由于数据量很大且实时性要求较高很适合用Elasticsearch来进行技术选型Elasticsearch在智慧交通、智能家居、公共安全、运维监控等领域有着广泛的应用。
文献检索和文献计量
Elasticsearch是一种出色的搜索引擎很适合用于电子图书馆、论文检索系统所需的多样化信息检索服务同时Elasticsearch强大的数据分析能力为文献计量提供了便利的统计接口。
商务智能大屏展示
Elasticsearch通过有效的大数据分析和研判使用多维度的钻取分析为用户提供决策支持和趋势预测其在智慧公安、智慧交通、智慧水利等领域的大屏展示系统中应用尤其普遍。
数据分析型应用程序中的应用
Elasticsearch很适合读多写少的数据分析型应用程序特别适用于OLAP数据分析相关的项目。在这种情况下考虑到Elasticsearch本身具备数据存储的能力可以作为数据源。
3.数据采集工具
除了使用应用程序写入Elasticsearch你还可以使用官方提供的数据采集工具Logstash或者第三方的ETL工具把数据写入Elasticsearch。这些工具功能十分丰富包括
Logstash早期的数据采集、转换工具可以很方便地把各种数据写入Elasticsearch。Beats家族一系列命名包含beat的轻量级数据采集器包括Filebeat、Metricbeat、Packetbeat、Winlogbeat、Heartbeat和Auditbeat等功能各异但都能用来采集各种数据并写入Elasticsearch。
4.名词解释 集群(cluster)多个安装了Elasticsearch的服务器如果拥有相同的集群名称则它们属于同一个集群对外提供统一的服务。在一个集群中只有一个主节点当主节点宕机时需要重新“选举”出新的主节点来维持集群正常运转。 节点(node)一个节点就是一台安装了Elasticsearch的服务器它是组成集群的基本单元。 索引(index)索引是存储数据的基本单元在大多数情况下可以把它理解为关系数据库中的表。 文档(document)文档是写入索引的基本单元一个文档就是索引中的一条数据。写入索引的文档是JSON格式的文本字符串里面包含各个字段的信息保存在索引的_source元数据中。 分片(shard)分片分为主分片和副本分片每个索引拥有至少一个主分片和零个或多个副本分片一个分片本质上是一个Lucene索引。当整个集群的节点数量增加或减少时为了让分片在每个节点上分布得比较均匀通常会使分片在集群中移动这个过程也就是分片的分配。在任何时候索引的主分片和它对应的副本分片不能位于同一个节点上这是为了保证节点宕机时主分片和副本分片不会同时丢失。 主分片(primary shard)当文档数据写入索引时会首先选择一个主分片进行写入再把数据同步到副本分片。主分片的数目在建立索引时就已经固定无法修改。如果一个索引拥有的主分片越多那么它能存储的数据越多主分片的个数通常跟索引的数据量成正相关。 副本分片(replica shard)副本分片是主分片的一个副本它能够分担一些数据搜索的请求从而提高搜索的吞吐量。同时副本分片还具备容灾备份的能力当主分片所在的节点宕机时副本分片可以被选举为主分片来保持数据的完整性。另外索引的副本分片数目可以随时修改。 分片恢复(shard recovery)分片恢复指的是把一个分片的数据完全同步到另一个分片的过程。这个过程伴随有分片的创建和分配在集群启动时或者节点数目改变时自发完成。只有分片恢复完全结束副本分片才能对外提供搜索服务。 索引缓冲区(index buffer)索引缓冲区用于在内存中存储最新写入索引的数据只有在索引缓冲区写满的时候这些新的数据才会被一次性写入磁盘。 传输模块(transport module)当节点接收请求后不能处理或无法单独处理时节点需要把请求转发给其他节点这是同一个集群中不同节点之间互相通信的手段这个过程由传输模块来完成。 网关模块(gateway module)网关模块存储着集群的信息和每个索引分片的持久化数据。默认使用的是本地网关它会把数据存储在本地文件系统中你还可以配置网关模块使用HDFS或其他存储手段来持久化Elasticsearch的数据。 节点发现模块(node discovery module)节点发现模块用于节点之间的互相识别可把新节点加入集群。这个过程需要使用传输模块来完成节点之间的通信。 线程池(thread pool)Elasticsearch内置了多个线程池用于处理不同的操作请求。例如analyze线程池用于处理文本分析的请求write线程池用于处理索引数据的写入请求search线程池用于处理搜索请求。你可以配置线程池的大小以改变其对这些请求的处理能力。
一、安装
1.使用docker
首先你需要安装一个docker关于Docker的使用我在《玩转Docker》系列博客中已经介绍过了。
(1)创建虚拟网络
因为需要使用 Docker 部署 ElasticSearch 和 Kibana 并且它们相互之间需要进行网络通信所有首先创建一个虚拟网络然后在运行容器的时候加入这个网络即可。
docker network create es-net(2)Elasticsearch安装步骤
以下是使用Docker安装Elasticsearch的步骤
拉取Elasticsearch镜像打开终端或命令行界面运行以下命令来拉取Elasticsearch的官方镜像
docker pull elasticsearch/elasticsearch:7.12.1这将会从Docker Hub上拉取Elasticsearch 7.12.1版本的镜像到本地环境。
创建并运行Elasticsearch容器运行以下命令来创建并运行Elasticsearch容器
docker run -d \--name es \-e ES_JAVA_OPTS-Xms512m -Xmx512m \-e discovery.typesingle-node \--privileged \--network es-net \-p 9200:9200 \-p 9300:9300 \
elasticsearch:7.12.1这个命令中-d参数表示以后台模式运行容器–name elasticsearch指定容器的名称-p 9200:9200 -p 9300:9300指定端口映射-e discovery.typesingle-node设置Elasticsearch的单节点模式。--network es-net指定加入虚拟网络。
验证Elasticsearch是否运行在浏览器中访问localhost:9200
如果一切正常将会看到Elasticsearch的信息返回表明Elasticsearch已经成功运行。
注意 这里使用的是单节点模式的Elasticsearch如果你需要搭建多节点集群还需要进行额外的配置。 docker安装的Elasticsearch的目录文件默认是在容器中的/usr/share/elasticsearch目录下。
2.使用压缩包
注意这一节我安装示范版本为7.2.0操作系统为centos。
安装Elasticsearch 7.2.0 在 CentOS 上的完整步骤如下
更新系统首先确保你的 CentOS 系统是最新的。可以通过以下命令更新系统
sudo yum update安装 JavaElasticsearch 运行需要 Java 环境确保你的系统已经安装了 Java。你可以通过以下命令检查是否已经安装了 Java
java -version如果没有安装 Java你可以通过以下命令安装 OpenJDK
sudo yum install java-1.8.0-openjdk下载并安装 Elasticsearch使用 wget 命令下载 Elasticsearch 7.2.0 的安装包并解压安装
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.2.0-linux-x86_64.tar.gz配置 Elasticsearch进入解压后的 Elasticsearch 目录编辑配置文件 elasticsearch.yml
cd elasticsearch-7.2.0/config
vi elasticsearch.yml在配置文件中你可以设置集群名称、节点名称、监听地址等参数。
创建非root用户
useradd es
passwd es #输入密码6.启动 Elasticsearch 服务
su es # 切换到非root用户
./安装目录/elasticsearch-7.2.0/bin/elasticsearch验证 Elasticsearch使用 curl 命令验证 Elasticsearch 是否正常运行
curl -X GET 你的电脑ip:9200/如果一切顺利你应该能够看到 Elasticsearch 的信息返回。
通过以上步骤你应该能够在 CentOS 上成功安装 Elasticsearch 7.2.0并启动 Elasticsearch 服务。记得根据实际情况修改配置文件和路径以确保一切正常运行。
二、配置
1.目录介绍
在容器外进入正在运行的Elasticsearch容器的命令行界面
docker exec -it es /bin/bash进入安装目录
cd /usr/share/elasticsearch安装目录介绍
● bin包含与Elasticsearch有关的各种可执行脚本很多都是批处理文件。 ● config包含各种节点的配置文件elasticsearch.yml文件也在这个目录下可以用于配置许多重要的参数。 ● data默认的数据存放目录包含写入Elasticsearch的数据文件。 ● jdk包含一个自带的JDK如果你不用自己计算机中的JDK那么这个JDK就会派上用场。 ● lib包含Elasticsearch运行时需要用到的JAR包。 ● logs默认的日志存放目录包含Elasticsearch运行时产生的各种日志文件。 ● modules包含Elasticsearch内置的各种模块每个模块都是一个插件。 ● plugins包含用户添加的第三方插件例如IK分词器插件就需要安装到这个目录下。
2.配置文件介绍
查看配置文件
cd /usr/share/elasticsearch/config
ls在Elasticsearch的config文件夹下一共有3个重要的配置文件其中elasticsearch.yml用于配置节点的参数jvm.options用来配置Elasticsearch运行时占用的堆内存大小log4j2.properties用来配置Elasticsearch运行时的日志参数。
那些可以通过调用REST接口在节点运行时动态修改的配置叫作动态配置配置在elasticsearch.yml文件中只能在集群重启后才能生效的配置叫作静态配置。
配置优先级
当你需要修改集群节点的配置信息时通常有以下3种方法。 (1)调用集群节点配置的REST接口并设置配置项临时生效该配置项在集群重启后失效。 (2)调用集群节点配置的REST接口并设置配置项持久生效该配置项在集群重启后依然有效。 (3)直接把集群节点配置项写在elasticsearch.yml文件中。
如果一个配置项没有采用以上3种方法进行配置则会采用集群节点默认的配置。如果同一个配置项在多个地方都配置过而且配置得不一样则第一种临时配置的优先级最高第二种持久生效的配置次之写在elasticsearch.yml文件中的配置优先级最低。
通常比较好的做法是对于整个集群范围内生效的动态配置直接使用REST接口进行控制对于每个节点各自不同的配置例如IP地址直接在节点的elasticsearch.yml中配置这样做可以避免遗漏某个节点的配置而引起错误。 为了方便我们在容器外面把elasticsearch的config目录复制出来查看
语法为docker cp 容器id:容器中的目录 主机上的目录
docker cp 1536112ad6f4:/usr/share/elasticsearch/config ./然后就可以在容器外面查看各个配置文件了。
3.elasticsearch.yml节点配置
这是elasticsearch.yml最初的配置指定了集群名和节点host
cluster.name: docker-cluster
network.host: 0.0.0.0下面我介绍一下其他比较重要的配置。
path.data和path.logs
这两个配置项用于配置数据目录和日志目录在生产环境中由于文件较大应尽量配置存储容量大的目录可以配置多个目录。
path:data:- /esdata1- /esdata2logs:- /var/log/eslog1- /var/log/eslog2bootstrap.memory_lock
这是用于操作系统内存锁的配置项开启内存锁可以防止操作系统中的缓存数据被交换到外存而导致查询性能大幅下降在生产环境中这个配置项一定要设置为true。
bootstrap.memory_lock: true注意在CentOS中直接设置bootstrap.memory_lock为true可能会因为缺少权限并不能立即开启内存锁还需要一些额外的配置我将会在后续博客中介绍这个问题。
network.host和http.port
network.host: 192.168.9.105
http.port: 9201discovery.seed_hosts和cluster.initial_master_nodes
这两个配置项在单节点环境下保持默认设置即可当需要搭建集群时这两个配置项对于节点的发现和主节点的选举至关重要。discovery.seed_hosts用于配置一组IP地址或主机名这组地址的列表是集群中的主候选节点的列表当一个节点启动时会尝试与该列表中的各个主候选节点建立连接如果连接成功并找到主节点就把该节点加入集群。
discovery.seed_hosts:- 192.168.9.10- 192.168.9.11- host3.comcluster.initial_master_nodes用于明确地指定一组节点名称的列表这个列表也是主候选节点的列表Elasticsearch集群在第一次启动时会读取该列表初始化投票配置该配置将用于主节点的选举。在这个列表中配置的每个节点的名称要与该节点的node.name配置的名称保持一致。
cluster.initial_master_nodes: [node-1, node-2]4.jvm.options堆配置
Elasticsearch的堆内存配置在性能调优中非常重要。以下是一些关于Elasticsearch堆内存配置的要点
分配合适的堆内存大小 Elasticsearch的堆内存大小直接影响其性能。如果设置得太小可能查询时内存不够而导致服务宕机如果设置得太大又会超过JVM用于压缩对象指针的阈值而导致内存浪费。通常建议将堆内存设置为物理内存的一半但不要超过30GB压缩对象指针的阈值。过小的堆内存会导致频繁的垃圾回收而过大的堆内存可能会导致长时间的垃圾回收暂停影响性能。
-Xms4g
-Xmx4gXms代表最小的堆内存大小Xmx代表最大的堆内存大小这两个值必须设置成一样的。
二、可视化工具Kibana
1.介绍
Kibana是一个开源的数据分析和可视化平台它是Elastic Stack之前称为ELK Stack的一部分用于搜索、查看、分析和交互式地操作存储在Elasticsearch索引中的数据。Kibana提供了丰富的图表、表格、地图等可视化组件用户可以通过Kibana轻松地创建各种数据可视化和仪表盘以便更好地理解和分析数据。
使用Kibana有以下好处 数据可视化Kibana提供了丰富的可视化组件用户可以通过简单的拖拽和配置操作创建各种图表、表格、地图等数据可视化帮助用户更直观地理解数据。 仪表盘Kibana允许用户将多个可视化组件组合成仪表盘从而可以在一个页面上综合展示多个数据可视化帮助用户全面地监控和分析数据。 数据查询Kibana提供了强大的查询功能用户可以通过Kibana界面轻松地构建和执行复杂的数据查询以便快速地找到所需的数据。 开放性和扩展性Kibana是一个开源的项目用户可以根据自己的需求进行定制和扩展满足不同的数据分析和可视化需求。
总的来说Kibana作为Elastic Stack的一部分为用户提供了强大的数据分析和可视化能力帮助用户更好地理解和利用存储在Elasticsearch中的数据。
2.安装Docker
下面开始使用docker安装kibana
拉取Kibana镜像在终端中执行以下命令来拉取Kibana的官方镜像
docker pull kibana:7.12.1运行Kibana容器执行以下命令来运行Kibana容器
docker run -d --name kibana -e ELASTICSEARCH_HOSTShttp://es:9200 --networkes-net -p 5601:5601 kibana:7.12.1-e ELASTICSEARCH_HOSTShttp://es:9200 设置 Kibana 运行时连接的 Elasticsearch 节点的地址这里指定了 Elasticsearch 服务的地址为 http://es:9200其中 “es” 是 Elasticsearch 服务的容器名而不是具体的 IP 地址。这是因为在 --networkes-net 中指定了容器连接到 “es-net” 网络容器名会被解析为相应的 IP 地址。
访问Kibana在浏览器中输入http://localhost:5601如果一切正常你将会看到Kibana的页面表明Kibana已经成功运行。
参考
https://blog.csdn.net/qq_61635026/article/details/133645483
