建网站浩森宇特,wordpress手机版主题模板,无锡建设企业网站,深圳网站建设网站排名优化1 案例说明
企业中应用程序部署后会将日志写入到文件中#xff0c;可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。
2 使用Exec Soucre
Exec Source
Exec Source通过指定命令监控文件的变化#xff0c;加粗属性为必须设置的。
属性名默认值说明chan…1 案例说明
企业中应用程序部署后会将日志写入到文件中可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。
2 使用Exec Soucre
Exec Source
Exec Source通过指定命令监控文件的变化加粗属性为必须设置的。
属性名默认值说明channels–type–execcommand–要执行的命令restartfalse如果执行命令挂了是否要重启batchSize20同时往channel发送的最大行数batchTimeout3000批量发送超时时间selector.typereplicatingchannel选择器replicating 或者 multiplexingselector.*通道选择器匹配属性interceptors–拦截器interceptors.*
添加配置文件exec-log.conf
# 定义agent名称为a1
# 设置3个组件的名称
a1.sources r1
a1.sinks k1
a1.channels c1# 配置source类型为exec,命令为 tail -F app.log
a1.sources.r1.type exec
a1.sources.r1.command tail -F conf/app.log# 配置sink类型为Logger
a1.sinks.k1.type logger# 配置channel类型为内存内存队列最大容量为1000一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100# 将source和sink绑定到channel上
a1.sources.r1.channels c1
a1.sinks.k1.channel c1
启动Flume
bin/flume-ng agent -n a1 -c ./ -f conf/exec-log.conf -Dflume.root.loggerINFO,console
可以查看agent控制台接收到了最新的日志 但是以上方法有重复消费的问题每次启动都会全量读取log文件里的全部数据下面我们解决重复消费问题。
3 解决重复消费问题
Taildir Source
属性名默认值说明channels–type–TAILDIR.filegroups–可以定义多个组. 每个组里包含一序列被监控的文件filegroups.–被监控文件的绝对路径文件名支持正则表达式positionFile~/.flume/taildir_position.json记录监控文件的绝对路径、上次读取位置的json文件 4 新增dir-log.conf
# 定义agent名称为a1
# 设置3个组件的名称
a1.sources r1
a1.sinks k1
a1.channels c1# 配置source类型为TAILDIR
a1.sources.r1.type TAILDIR
a1.sources.r1.positionFile /home/flume/position.json
a1.sources.r1.filegroups f1 f2
a1.sources.r1.filegroups.f1 /home/flume/conf/app.log
a1.sources.r1.filegroups.f2 /home/flume/conf/logs/.*log# 配置sink类型为Logger
a1.sinks.k1.type logger# 配置channel类型为内存内存队列最大容量为1000一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100# 将source和sink绑定到channel上
a1.sources.r1.channels c1
a1.sinks.k1.channel c1
启动Flume
bin/flume-ng agent -n a1 -c ./ -f conf/dir-log.conf -Dflume.root.loggerINFO,console
