中山企业网站推广,公司介绍详细,看过的网站做记号,网站做管理员消息推送摘要#xff1a; 目前logtail已承载阿里云全站、所有云产品服务、全球各Region部署、阿里巴巴集团#xff08;淘宝、天猫、菜鸟等#xff09;上重要服务的数据采集。每天采集接近百万服务器上数PB的实时数据#xff0c;对接数千个应用与消费者。什么是日志提到日志#xf…摘要 目前logtail已承载阿里云全站、所有云产品服务、全球各Region部署、阿里巴巴集团淘宝、天猫、菜鸟等上重要服务的数据采集。每天采集接近百万服务器上数PB的实时数据对接数千个应用与消费者。
什么是日志提到日志很多人的第一印象就是系统打到本地的Log文件出问题的时候看一下这个Log文件用来排查问题。更进一步可以根据这个Log文件做实时的监控、第三方审计、入侵检测、行为分析、数据大盘制作等等。马老师说过阿里巴巴不是零售我们是一家数据公司为了数据才做电商、做物流、卖东西。我们认为日志是记录世间人和物所有行为的一种方式是数据中极其重要又极其庞大的一个组成部分。会产生日志的设备有服务器、交换机、手机、传感器、IOT设备、智能设备...产生的日志类型有网络的七层日志、OS日志、订单日志、支持日志、GPS定位日志、用户点击日志...产生的日志形式有文本文件、二进制文件、syslog、udp日志...如何充分利用这些日志资源才是我们的核心技术和竞争力。什么是日志采集数据的价值是什么数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。如果从整个过程来看数据分析其实包含了4个过程采集存储计算和理解四个主要步骤采集从各种产生数据的源头将数据集中到存储系统。包括硬盘上的历史数据、用户网页的点击、传感器等等。存储以各种适合计算的模式集中式存储数据其中既包含大规模的存储系统例如数仓也有例如临时的存储例如Kafka类消息中间件。计算形态多种多样但大部分计算完成后会将结果再放入存储而这个过程也可能迭代多次。理解利用机器学习、可视化、通知等手段提炼出结论性或具有代表意义的数据并将结果呈现出来。数据的采集是一门很大的范畴从实时性上和每次传输数据规模上分一般可以分为3类实时采集例如access log、database change log等定时任务例如每隔5分钟从FTP或数据源去批量导出数据线下导数据例如邮寄硬盘、AWS Snowmobile 卡车、阿里云的闪电立方等从数据的价值以及体量上而言实时数据采集毫无疑问最重要的而其中最大的部分就是日志实时采集。为何使用Agent实现日志的实时采集一般有2种方式直接上传在应用程序或依赖的框架中将日志直接上传到服务端。例如各种日志上传的SDK、Log4j的appender、docker driver等通过Agent采集应用本身只产生日志由Agent作为代理采集到服务端。例如将日志打到磁盘、syslog转发、从中间框架docker engine、mysql、应用自带的monitor模块中抽取等下面我们来详细剖析一下二者区别对比项直采Agent实现复杂度高需要针对不同的应用/设备/日志存储端分别实现低无需专门实现性能开销低直接上传无额外性能开销较高需要一层中转例如本地磁盘、网络等有一部分额外开销应用影响高由于日志采集和应用在同一进程隔离性很难保证较低日志采集和应用处于不同进程/设备采集异常对于应用影响较低耦合度紧耦合松耦合可扩展性低如果更换采集协议、采集目的端代价极高高只需更改Agent无需对应用本身进行改造可靠性较低日志随应用生灭应用crash时数据可靠性很难保证较高通常由磁盘/中间框架实现持久化具备一定的可靠性从以上分析来看两种采集方式各有优缺点、也有各自适应的场景直采适用于对性能/资源要求较高的场景例如IOT/智能设备等对于资源要求极高没有额外的资源独立部署采集Agent例如负载均衡设备、CDN节点等日志产生量极高每秒数百MB或者数GB的日志只有直接上传方能满足性能要求Agent采集只要应用可以将日志输出以文件形式保存到磁盘、syslog等或者支持通用的接口拉取Agent即可将日志采集到。大部分场景下松耦合、可扩展性、可维护性相比Agent额外开销更具优势为何选用Logtail日志采集Agent有很多例如Logstash、Fluentd、Beats系列FileBeats、MetricBeats、Packetbeat、Winlogbeat、Auditbeat、Heartbeat、Nxlog、Telegraf、Heka、Nifi、Logspout、Datadog agent、Sematext agent、Splunk addon系列、Sumologic collector。。。业界有那么多的Agent每个Agent各种各样的功能和特性看起来让人眼花缭乱。但围绕日志采集这个最原始的需求展开无非也就是功能、性能、稳定性、运维代价这4个方面功能作为选择Agent最基本需求主要分为输入源、数据处理除日志解析外还包括过滤、压缩等、数据输出。性能不同类型Agent之间会有数十倍的性能差距。当日志产生速率较低且资源充足时此项可以忽略但大部分情况下采集Agent是作为整个集群的基础软件在集群规模庞大的情况下即使每台机器节省1%的CPU、10MB的内存也是很大一笔资金节省。稳定性稳定的重要性无需多言除保证自身运行的稳定外Agent还需保证不能超出限定的资源使用Quota以免对应用产生影响。运维代价日志采集的运维主要包括Agent部署、动态伸缩、配置管理、Agent升级、Agent异常监控。当只有数台主机时Agent可以使用人肉的方式进行管理但当集群规模扩大到数百及以上时运维必须依赖有效的机制。阿里云日志服务也有自己的采集Agent--Logtail。目前logtail已承载阿里云全站、所有云产品服务、全球各Region部署、阿里巴巴集团淘宝、天猫、菜鸟等上重要服务的数据采集。每天采集接近百万服务器上数PB的实时数据对接数千个应用与消费者。之所以使用Logtail作为采集Agent也是经过上述四个方面的综合考虑。由于采集Agent数量众多这里我们选择目前最主流的3款Agent进行对比 LogtailLogstashFluentdBeats系列功能文本文件采集支持支持支持支持 syslog支持支持支持不支持 处理方式正则、anchor、分隔符、json任意组合插件扩展插件扩展只支持multiline 过滤正则插件扩展插件扩展不支持 压缩lz4插件扩展插件扩展支持 功能扩展支持插件支持插件支持插件支持修改源码性能采集性能极简单核160M/s、正则20M/s单核2M/s左右单核3-5M/s极简单核15M/s 资源消耗平均CPU 2%、内存 40M10倍以上性能消耗10倍以上性能消耗内存消耗较低稳定性多租户隔离自实现的隔离线程级隔离线程级隔离goroutine隔离 硬性资源限制支持支持支持不支持 资源动态调整支持不支持不支持不支持 数据保存支持插件支持插件支持不支持 进程守护支持辅助软件支持辅助软件支持辅助软件支持 采集点位保存所有均支持只支持文件插件支持只支持文件运维代价本地监控支持支持支持 服务端监控支持Beta版本支持简单功能辅助监控软件扩展不支持 集群自动缩扩容自定义标识机器组不支持不支持不支持 运行时配置变更支持支持支持支持 服务端配置管理支持Beta版本支持简单功能辅助软件扩展不支持 自动升级支持辅助软件扩展辅助软件扩展不支持相对主流的采集AgentLogtail在采集功能上有一定的不足对于输入源、处理方式等支持没有开源软件的多但从目前的功能来看可以满足95%以上的日志采集需求。但日志采集并不是能够采集到就可以。相对开源软件Logtail的优势是有集团百万服务器、上万应用的练兵环境很多问题纯粹从Agent和开源社区的角度并不会考虑到。因此经历了数年的迭代优化在性能、稳定性、运维代价上Logtail相对更加成熟在性价比上具有绝对的优势。原文链接干货好文请关注扫描以下二维码
