个人备案网站 论坛,如何编写网站开发文档,网页设计多少钱一个页面,高端网站建设公司好不好EFK日志系统搭建 EFK日志系统介绍功能需求搭建elasticsearch集群规划前提部署核对证书及权限 EFK日志系统介绍
Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎#xff0c;允许进行全文、结构化搜索#xff0c;它通常用于索引和搜索大量日志数据#xff0c;也可用于… EFK日志系统搭建 EFK日志系统介绍功能需求搭建elasticsearch集群规划前提部署核对证书及权限 EFK日志系统介绍
Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎允许进行全文、结构化搜索它通常用于索引和搜索大量日志数据也可用于搜索许多不同类型的文档。
Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上或者将 Beats 作为函数加以部署然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能Beats 还能将数据输送到 Logstash 进行转换和解析。
Kibana 核心产品搭载了一批经典功能柱状图、线状图、饼图、旭日图等等。不仅如此您还可以使用 Vega 语法来设计独属于您自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。
Elasticsearch 通常与 Kibana 一起部署Kibana 是 Elasticsearch 的一个功能强大的数据可视化 DashboardKibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。 注意由于全篇字稿较长做了如下拆分 docker一键部署EFK系统elasticsearch filebeat kibana metricbeat es-head 【EFK日志系统】docker一键部署kibana、es-head 【EFK日志系统】docker一键部署filebeat、metricbeat 【EFK日志系统】在kibana操作索引模板、生命周期、管道等
功能需求
现阶段我们有11台服务器需要对应用、系统、中间件的日志进行追踪监控通过filebeat、metricbeat采集es检索kibana可视化展示整套流程来监控日志、分析日志
一键部署各个服务全流程有密码访问控制日志信息结构化处理精简日志es集群化配置一主两从同时接收 搭建elasticsearch集群
规划
ip为假想值
es01:172.23.165.185 es02:172.23.165.186 es03:172.23.165.187
前提
1.在官网查看您想要安装使用的版本拉取该版本 elasticsearch官网
在服务器执行命令即可我们这里选取的是7.10.0版本 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.10.0 2.修改内存映射数量 在 /etc/sysctl.conf 文件中添加或修改max_map_count vm.max_map_count262144 退出而后执行 sudo sysctl -p 3.创建网络所有节点在同一网络 docker network create es-net 查看该网络下的服务 docker network inspect es-net 部署
首先我们在172.23.165.185合适的位置创建es01文件夹 mkdir es01 cd es01 1.编写docker-compose.yml
version: 3
services:elasticsearch:build:context: .dockerfile: Dockerfileimage: docker.elastic.co/elasticsearch/elasticsearch:7.10.0container_name: elasticsearchrestart: alwaysenvironment:- node.namees-node-1- network.publish_host172.23.165.185- network.host0.0.0.0- discovery.seed_hosts172.23.165.185,172.23.165.186,172.23.165.187- cluster.initial_master_nodes172.23.165.185,172.23.165.186,172.23.165.187- cluster.namees-cluster- bootstrap.memory_locktrue- ES_JAVA_OPTS-Xms512m -Xmx512mulimits:memlock:soft: -1hard: -1# volumes:#- ./data:/usr/share/elasticsearch/data:rw#- ./config:/usr/share/elasticsearch/config:rw#- ./plugins:/usr/share/elasticsearch/plugins:rw#- ./logs:/usr/share/elasticsearch/logs:rwports:- 9200:9200- 9300:9300networks:- es-net
networks:es-net:external: true2.编写Dockerfile
FROM docker.elastic.co/elasticsearch/elasticsearch:7.10.0#COPY ./elasticsearch.yml /usr/share/elasticsearch/config/3.一键启动 docker-compose up -d 或者 docker -f docker-compose.yml up -d 执行后docker ps查看容器是否启动且正常
4.copy容器文件
容器正常后执行如下 docker cp -a elasticsearch:/usr/share/elasticsearch/config/ . docker cp -a elasticsearch:/usr/share/elasticsearch/data . docker cp -a elasticsearch:/usr/share/elasticsearch/logs . docker cp -a elasticsearch:/usr/share/elasticsearch/plugins . 5.修改elasticsearch.yml
进入config目录编辑elasticsearch.yml
network.host: 0.0.0.0path.data: /usr/share/elasticsearch/data
path.logs: /usr/share/elasticsearch/logshttp.cors.enabled: true
http.cors.allow-origin: *#xpack.security.enabled: true
#xpack.security.transport.ssl.enabled: true
#xpack.security.transport.ssl.verification_mode: certificate
#xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/elastic-certificates.p12
#xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/elastic-certificates.p12
#xpack.security.transport.ssl.keystore.type: PKCS12
#xpack.security.transport.ssl.truststore.type: PKCS126.将Dockerfile的 # 去掉
COPY ./elasticsearch.yml /usr/share/elasticsearch/config/
7.将docker-compose.yml的 # 去掉 - ./data:/usr/share/elasticsearch/data:rw- ./config:/usr/share/elasticsearch/config:rw- ./plugins:/usr/share/elasticsearch/plugins:rw- ./logs:/usr/share/elasticsearch/logs:rw同时修改image 即注释原先的新增镜像“:”前是名字后是版本号 #image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0 image: elasticsearch-7.10.0:test01 然后重新启动 执行docker-compose up -d 然后在其他的服务器上重复这样的操作 只不过需要注意将其中的节点名称和hosts替换 举例 environment: - node.namees-node-1 - network.publish_host172.23.165.185
node.namees-node-2或者3 network.publish_host172.23.165.186或者7
核对
可以执行命令或者在浏览器输入url查看集群的健康信息注意替换你自己的ip
1.查看单个节点的信息 终端输入curl -X GET “http://172.23.165.185:9200” 浏览器输入http://172.23.165.185:9200
2.查看集群节点健康情况 终端输入curl -X GET “http://172.23.165.185:9200/_cluster/health?pretty” 浏览器输入http://172.23.165.185:9200/_cluster/health?pretty 3.查看节点状态和信息 终端输入curl -X GET “http://172.23.165.185:9200/_cat/nodes?vpretty” 浏览器输入http://172.23.165.185:9200/_cat/nodes?vpretty 4.查看集群更详细的信息 终端输入curl -X GET “http://172.23.165.185:9200/_cluster/state?pretty” 5.查看节点简单的健康视图 终端输入curl -X GET “http://172.23.165.185:9200/_cat/health?vpretty” 如果只是看一看玩一玩至此就可以结束了 证书及权限
进入任意一台es容器执行下列命令
docker exec -it elasticsearch bash
bin/elasticsearch-certutil ca一路回车
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12一路回车
bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password 一路回车
bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password一路回车exit退出而后cd config将p12复制导出来再将其复制到其他节点的config目录下
也就是es集群三个节点用的都是这两个.p12文件
docker cp elasticsearch:/usr/share/elasticsearch/config/elastic-stack-ca.p12 .
docker cp elasticsearch:/usr/share/elasticsearch/config/elastic-certificates.p12 .
docker cp elasticsearch:/usr/share/elasticsearch/config/elasticsearch.keystore .在config目录下设置权限
chmod 755 elastic-stack-ca.p12
chmod 755 elastic-certificates.p12
chmod 755 elasticsearch.keystore
chmod 755 elasticsearch.yml还记得我们elasticsearch.yml中注释掉的部分吗 取消注释
执行docker restart elasticsearch
然后进入容器 执行下列命令切记保存
在任意一个节点执行推荐自动
./bin/elasticsearch-setup-passwords auto 自动
./bin/elasticsearch-setup-passwords interactive 交互至此es集群已经部署完成
现在访问是需要密码登录的
在浏览器输入你刚刚生成的密码即可登录 用户名是elastic 此外你在终端查看信息 需要加上用户名密码
如curl -u elastic:密码 -X GET “http://172.23.165.185:9200/” 感谢支持
