太原制作网站的公司哪家好,php建站系统源码,厦门做网站维护的公司,企业门户网站管理办法1 使用组件
File Channel 2 属性设置
属性名默认值说明type-filecheckpointDir~/.flume/file-channel/checkpoint检查点文件存放路径dataDirs~/.flume/file-channel/data日志存储路径#xff0c;多个路径使用逗号分隔. 使用不同的磁盘上的多个路径能提高file channel的性能 …1 使用组件
File Channel 2 属性设置
属性名默认值说明type-filecheckpointDir~/.flume/file-channel/checkpoint检查点文件存放路径dataDirs~/.flume/file-channel/data日志存储路径多个路径使用逗号分隔. 使用不同的磁盘上的多个路径能提高file channel的性能
添加配置文件file-channel.conf添加一个FileChannel
# 定义agent名称为a1
# 设置3个组件的名称
a1.sources r1
a1.sinks k1
# 多个channel使用空格分隔
a1.channels c1 c2# 配置source类型为NetCat,监听地址为本机端口为44444
a1.sources.r1.type netcat
a1.sources.r1.bind localhost
a1.sources.r1.port 44444# 配置sink类型为Logger
a1.sinks.k1.type logger# 配置channel类型为内存内存队列最大容量为1000一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100# 配置FileChannel,checkpointDir为检查点文件存储目录dataDirs为日志数据存储目录
a1.channels.c2.type file
a1.channels.c2.checkpointDir /opt/soft/bak/flume/checkpoint
a1.channels.c2.dataDirs /opt/soft/bak/flume/data# 将source和sink绑定到channel上
# source同时绑定到c1和c2上
a1.sources.r1.channels c1 c2
a1.sinks.k1.channel c1
为了方便日志打印可以将-Dflume.root.loggerINFO,console添加在conf的环境配置中从模板复制一份配置
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
# 添加JAVA_OPTS
export JAVA_OPTS-Dflume.root.loggerINFO,console
3 启动Flume
bin/flume-ng agent -n a1 -c ./ -f conf/file-channel.conf
通过Netcat发送数据此时发送到c2的数据没有被消费 关闭Flume修改配置文件
# 将sink绑定到c2上a1.sinks.k1.channel c2
重启Flume可以看到会重新消费c2的数据
