咸宁网站设计制作,杭州网站建设q479185700惠,wordpress 文章底部作者,wordpress 不能选择数据库Fluentd 简介 #xff1a;Fluentd 是一个高性能、可扩展的数据收集与聚合工具#xff0c;能够统一数据收集和消费#xff0c;实现各种数据源到各种数据接收器的高效传输#xff0c;广泛应用于日志收集等领域。 功能特点 #xff1a; 统一日志收集 #xff1a;支持从各种…Fluentd 简介 Fluentd 是一个高性能、可扩展的数据收集与聚合工具能够统一数据收集和消费实现各种数据源到各种数据接收器的高效传输广泛应用于日志收集等领域。 功能特点 统一日志收集 支持从各种数据源收集日志如文件、网络、应用程序等将不同来源的日志统一收集并传输到一个或多个目的地便于集中管理和分析。 插件丰富 拥有超过 500 个插件可与多种工具集成如与 Prometheus、Elasticsearch、Kafka 等主流工具的集成方便用户根据需求扩展功能。 高性能 采用多线程架构能够高效地处理大量数据适用于高并发场景。 低延迟 优化了数据处理流程可以快速地将数据从源头传输到目的地降低了数据处理的延迟。 应用场景 日志收集与分析 将应用程序、服务器等产生的日志收集到一个中心位置如 Elasticsearch然后使用 Kibana 等工具进行可视化分析。例如在微服务架构中收集各个服务的日志以便快速定位和解决问题。 数据集成与转换 对收集到的数据进行清洗、转换和富化等操作使其符合特定的数据模型或格式方便后续的数据分析和处理。比如将不同格式的日志数据转换为统一的 JSON 格式。 事件驱动的架构 作为事件收集和分发的中间件将事件从生产者传递给消费者实现系统之间的解耦和协同工作。
Docker启动Fluentd
准备共享目录
useradd fluent
chown fluent: /data/fluentd/
chmod 777 /data/fluentd/
fluentd容器内默认使用fluent用户在host上的共享目录权限不够导致服务启动失败。
启动fluentd
docker run -d --name my-fluentd \
-u fluent -p 24224:24224 -p 24224:24224/udp \-v /data/fluentd:/fluentd/log fluent/fluentd
查看检查插件列表
docker exec -it my-fluentd /bin/bash -c gem list *** LOCAL GEMS ***
abbrev (default: 0.1.1) async (1.32.1) async-http (0.64.2) async-io (1.43.2) async-pool (0.10.3) base64 (0.2.0, default: 0.1.1) benchmark (default: 0.2.1) bigdecimal (default: 3.1.3)
……
