百度网站建设在哪,中文小说网站建设与维护,用瀑布流做的美食网站,关键词查找的方法有以下几种概述 flume是在2011年被首次引入到Cloudera的CDH3分发中#xff0c;2011年6月#xff0c;Cloudera将flume项目捐献给Apache基金会。2012年#xff0c;flume项目从孵化器变成了顶级项目#xff0c;在孵化的这一年中#xff0c;开发人员就已经开始基于Star Trek Themed标签对…概述 flume是在2011年被首次引入到Cloudera的CDH3分发中2011年6月Cloudera将flume项目捐献给Apache基金会。2012年flume项目从孵化器变成了顶级项目在孵化的这一年中开发人员就已经开始基于Star Trek Themed标签对flume进行重构并创建了flume-NGFlume the next Generation。 Apache的flume-NG是一个分布式的可靠的和可用的系统。能有效地收集汇总和移动大量的从许多不同的来源一个集中式数据存储日志数据。Apache的flume的使用不仅限于日志数据聚集。由于数据来源是可定制的flume可以用来大量事件每一行数据被当做一个event数据包括但不限于传输网络数据社交媒体产生的数据电子邮件和几乎任何数据源的可能。 Apache的flume-NG是Apache软件基金会的顶级项目目前有两个版本的代码版本0.9.x和1.x。1.x是全新的架构该版本重新改进了的性能和配置的灵活性鼓励用户使用。系统要求 1、JavaJava 1.6或更高版本推荐使用Java 1.7 2、内存配置使用sources、channels、sinks时需要有足够的内存 3、磁盘空间配置使用channels、sinks时需要有足够的磁盘空间 4、目录权限使用agent时需要拥有目录的读写权限 数据流模型 flume事件被定义为数据流中一个有效字节和一个可选的字符串属性设置。flume是JVM进程中主机部件通过事件流从外部源的下一个目的地跳。flume源消耗像Web服务器的外部源传递到事件。外部源发出的事件在一个由目标识别的格式flumeflume源。例如一个公司的flume源可用于从公司客户或其他flume代理发送事件从一个公司的汇流接收Avro事件。类似的流程可以定义使用节俭flume源接收事件从水池或flume节俭节俭RPC客户端或节俭写在从flume节俭的协议而产生的任何语言的客户。当flume源接收事件就将它保存为一个或多个通道。通道是一个被动的存储使事件直到它的flumeflume消耗。文件的渠道就是一个例子–通过本地文件系统支持。flume中移除事件从通道和把它变成像HDFS外部储存库通过flumeHDFS库或转发到下一个flumeflume源代理下一跳在流动。在给定的源和汇的代理异步运行在频道上演的事件。复杂流动 flume允许用户在事件流中建立多个agent。它允许到达目的地时支持扇入和扇出上下文路由和备份路由跳过失败。转载于:https://www.cnblogs.com/mengyao/p/4584505.html
