绍兴 网站制作,网页设计html代码大全指定颜色,wordpress文章页打不开,免费seo在线工具导读#xff1a;为了让大家更好的 APM 系统的设计实现#xff0c;我将在公众号编写《云原生之可观测性》系列文章#xff0c;深入讲解 APM 系统的产品设计、架构设计和基础技术。APM是一个庞杂的技术体系#xff0c;涉及到很多开源技术#xff0c;欢迎大家留言讨论。
本文…导读为了让大家更好的 APM 系统的设计实现我将在公众号编写《云原生之可观测性》系列文章深入讲解 APM 系统的产品设计、架构设计和基础技术。APM是一个庞杂的技术体系涉及到很多开源技术欢迎大家留言讨论。
本文主要从以下几个维度来阐述APM:
1、APM是什么
2、APM的目的是什么
3、APM开源框架
一. APM是什么
APM 是Application Performance Managment的缩写即“应用性能管理”。现代的APM体系基本都是参考Google的《Dapper大规模分布式系统的跟踪系统》公众号回复: APM领取高清版本文档的体系来实践的。
APM属于IT运维管理AIOps范畴。主要是针对企业关键业务的IT应用性能和用户体验的监测、优化提高企业IT应用的可靠性和质量保证用户得到良好的服务降低IT总体拥有成本Total cost of ownership - TCO。
后来由Gartner归纳抽象出来一套概念框架如下图 Gartner的APM Conceptual Framework概念框架是经过大量调研与分析后的归纳与抽象这些切实需求由来已久IT从业者们对它的理解与实践也几乎是从IT诞生至今就已开始这并不是一次发明。 1、终端用户体验End User Experience
2、运行时应用架构Runtime application architecture
3、业务事务分析Business Transactions
4、深度组件监控Deep Dive Component Monitoring
5、分析报告Analytics / Reporting
关于APM概念框架之后将结合案例讲解。
二、APM的目的是什么
随着中台、微服务、云原生架构的流行应用系统本身正变得越来越难以管理终端用户的一次请求往往需要涉及到多个服务因此服务性能监控和问题排查就变得异常的复杂。不同的服务可能由不同国家不同团队和不同编程语言来实现。服务可能部署在成千上万台服务器跨越不同机房不同数据中心。 如上图一次请求经过多个应用实际情况可能比上图还要复杂那么我们如何去发现问题和排查问题以及它们的性能如何如果性能不好我们该如何去优化呢是去优化应用C还是去优化应用D呢
因此就需要一个可以帮助理解系统行为、用于分析性能问题的工具以便发生故障的时候能够快速定位和解决问题这就是APM系统。
APM最早是谷歌公开的论文提到的 Google Dapper。Dapper是Google生产环境下的分布式跟踪系统自从Dapper发展成为一流的监控系统之后给google的开发者和运维团队帮了大忙所以谷歌公开论文分享了Dapper。
三、APM开源套件
APM是一种理念一种方法论主要指对企业关键业务应用进行观测、分析、优化。从而提高企业应用的可靠性和稳定性。
从用户的角度来说可以保证为用户提供高质量的服务。
从企业的角度来说可以为企业降低IT的总成本。 Metrics、Tracing和Logging是APM中三个主要的概念如上图Metrics、Tracing和Logging是有交叠的地方。从左边线条的箭头方向看成本会越来越高。Metrics、Tracing和Logging三者之间的成本关系以存储成本计算
Metrics 更节省存储资源因为数据会被聚合后存储。Logging 需要的存储空间最大成本最高。Tracing 也是存储大户由于它的业务特点可以采样所以总体存储成本则介于两者之间。
了解了Metrics、Tracing和Logging之后我们在看看市面上有哪些开源产品是支持的这三个概念的下面介绍到的开源框架大部分都是笔者在做监控系统工作中调研过的如果想深入了解欢迎留言讨论。
3.1 主流框架
1. Skywalking
官方地址https://skywalking.apache.org/
主要语言Java
项目描述必须排第一国货之光。Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的产品它同时吸收了Zipkin/Pinpoint/CAT的设计思路支持非侵入式埋点。是一款基于分布式跟踪的应用程序性能监控系统。
总结Skywalking已经是一个比较完整的APM解决方案了如果公司体量不是很大建议使用。
2. ELK stack
官方地址https://www.elastic.co/cn/
主要语言GO和Java
项目描述ELK Stack是一个流行的工具套件功能涵盖监控、日志和数据可视化。它由 ElasticSearch, Logstash, and Kibana 三部分组成。其中Elasticsearch 负责搜索和分析Logstash 是日志聚积器而 Kibana则提供华丽的可视化仪表盘。
总结国内大数据互联网公司都采用ELK做日志采集。
3. prometheus
官方地址https://prometheus.io/
主要语言Go
项目描述Prometheus 是一套开源的系统监控报警框架。它受启发于 Google 的 Brogmon 监控系统由工作在 SoundCloud 的前 google 员工在 2012 年创建作为社区开源项目进行开发并于 2015 年正式发布。
2016 年Prometheus 正式加入 Cloud Native Computing FoundationCNCF基金会的项目成为受欢迎度仅次于 Kubernetes 的项目。2017 年底发布了基于全新存储层的 2.0 版本能更好地与容器平台、云平台配合。
Prometheus 作为新一代的云原生监控系统目前已经有超过 650位贡献者参与到 Prometheus 的研发工作上并且超过 120项的第三方集成。
总结容器化必备监控软件
4. open-falcon
官方地址http://open-falcon.org/
主要语言Go、Python
项目描述小米开源的企业级监控工具用 Go 语言开发而成包括小米、滴滴、美团等在内的互联网公司都在使用它是一款灵活、可扩展并且高性能的监控方案Open-Falcon从互联网公司的一些需求出发从各位SRE、SA、DEVS的使用经验和反馈出发结合业界的一些大的互联网公司做监控用监控的一些思考出发设计开发了open-falcon。
总结用于做服务器端监控是一个不错的选择
5. Sensu
官方地址http://sensu.io/
主要语言Ruby
项目描述Sensu 是由 Sonian 公司开发的一种监控框架主要用于拥有大规模节点的云计算平台的检查与监控。它可以监控服务器、相关服务和应用程序健康状况并通过第三方集成发送警报和通知。目前发行的版本有企业版和开源版两种收费的企业版本较之免费的开源版本拥有更多的功能。
6. pinpoint
官方地址https://github.com/pinpoint-apm/pinpoint
主要语言Java
项目描述pinpoint是开源在github上的一款APM监控工具它是用Java编写的用于大规模分布式系统监控。它对性能的影响最小只增加约3资源利用率安装agent是无侵入式的。
总结UI不错但是不支持多语言探针也不丰富个人不建议使用。 7. zipkin 官方地址https://zipkin.io/
主要语言Java
项目描述这个是twitter开源出来的也是参考Dapper的体系来做的。Zipkin 是一个开放源代码分布式的跟踪系统每个服务向zipkin报告计时数据zipkin会根据调用关系通过Zipkin UI生成依赖关系图。Zipkin提供了可插拔数据存储方式In-Memory、MySql、Cassandra以及Elasticsearch。为了方便在开发环境我直接采用了In-Memory方式进行存储生产数据量大的情况则推荐使用Elasticsearch。
总结具有侵入性报表也比较单一。 8. Jaeger 官方地址https://www.jaegertracing.io/
主要语言Go
项目描述Jaeger由Uber创建它除了Zipkin的功能集外Jaeger还提供了动态采样REST API基于ReactJS的UI界面以及对Cassandra和Elasticsearch内存数据存储的支持。为了实现这些功能Jaeger相比Zipkin采取了一种不同的更分散的方法。
总结Jaeger的采样算法是非常值得推荐的。如果在Jaeger和Zipkin选择建议Jaeger
9. Cat
官方地址https://github.com/dianping/cat
主要语言Java
项目描述CAT(Central Application Tracking)是由吴其敏前大众点评首席架构师现携程架构负责人主导设计基于Java开发打造的实时应用监控平台为大众点评网提供了全面的监控服务和决策支持。AT作为大众点评网基础监控组件它已经在中间件框架MVC框架RPC框架数据库框架缓存框架等中得到广泛应用为点评各业务线提供系统的性能指标、健康状况、基础告警等。
总结15年左右做监控系统的时候调用链用了Cat不过由于具备侵入性后面大面积的改造改成无侵入型总体来说是不错的开源框架。
3.2 传统监控
1.zabbix
官方地址http://zabbix.com/
主要语言C和PHP
项目描述Zabbix是业界领先的开源网络监控工具它具有可扩展的网络监控能力Zabbix在网络、服务器、云、应用程序和服务监控方面做得非常好。
你可以通过Zabbix可以跟踪网络信息如网络带宽使用、网络健康状况和配置更改并排除需要解决的问题。与其他开源监控工具相比Zabbix提供了很高的便利性。诸如它可以自动检测连接到网络的设备。
目前还有很多公司都在用zabbix。
2. Nagios
官方地址http://www.nagios.org
主要语言C
项目描述Nagios是一款开源的免费网络监视工具能有效监控Windows、Linux和Unix的主机状态交换机路由器等网络设备打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员在状态恢复后发出正常的邮件或短信通知。
3. cacti
官方网站http://www.cacti.net
开发语言php
项目描述Cacti是一个开源的基于web网络监控和图形化工具它被设计作为开源工业化标准数据日志工具RRDtool的后端应用程序。它通常用来显示数据时序图、CPU加载和网络宽带应用程序。最普通的用处就是通过轮询网络交换机或者通过简单网络管理协议来路由接口SNMP Simple Network Management Protocol
总结以上三种传统监控系统俗称监控三剑客。
3.3 前端监控
1. sentry
github地址https://sentry.io/welcome/
项目描述Sentry 是一个开源的实时错误追踪系统可以帮助开发者实时监控并修复异常问题。它主要专注于持续集成、提高效率并且提升用户体验。Sentry 分为服务端和客户端 SDK前者可以直接使用它家提供的在线服务也可以本地自行搭建后者提供了对多种主流语言和框架的支持包括 React、Angular、Node、Django、RoR、PHP、Laravel、Android、.NET、JAVA 等。同时它可提供了和其他流行服务集成的方案例如 GitHub、GitLab、bitbuck、heroku、slack、Trello 等。
2. Webfunny
github地址https://www.webfunny.cn/
项目描述也是含有监控错误的功能可以支持千万级别日PV量额外的亮点是可以远程调试、性能分析也可以docker私有化部署免费业务代码加密过。
总结由于其代码没有开源二次开发受限
3. zanePerfor
github地址http://github.com/wangweianger 3.4 移动端监控资料
AndroidPerformanceMonitor : https://github.com/markzhai/AndroidPerformanceMonitor
leakcanary : https://github.com/square/leakcanary
watchdog : https://github.com/gorakhargosh/watchdog
iOS-System-Services : https://github.com/Shmoopi/iOS-System-Services
总结
监控系统是IT运维和产品运营的一双眼睛随着业务到达一定的量级监控需求会越来越丰富目前市面上开源的监控系统都存在这样或者那样的问题。在国内外监控系统的技术问题和产品体验都存在很多需要突破的点后续将持续分享一些自己的看法。 云原生之可观测性 - APM概念及选型
专家压测服务-腾讯WeTest您的质量守护专家
