官方网站开发合同,简单电商平台开发设计,做网站每年需要多少维护费,网络营销怎么做网站对于分布式系统来说#xff0c;出现故障的是常有的事情#xff0c;如何在短时间内找到故障的原因#xff0c;排除故障是非常重要的#xff0c;而监控系统是就像系统的眼睛可以通过分析相关数据#xff0c;进一步管理和运维整个分布式系统。
监控系统的的基本功能包含
全…对于分布式系统来说出现故障的是常有的事情如何在短时间内找到故障的原因排除故障是非常重要的而监控系统是就像系统的眼睛可以通过分析相关数据进一步管理和运维整个分布式系统。
监控系统的的基本功能包含
全栈监控关联分析跨系统调用的串联实时报警和自动处置系统性能分析
多层体系的监控
全栈监控其实就是三层监控
基础层监控主机和底层资源比如CPU、内存、网络吞吐、磁盘I/O、硬盘使用等。中间层中间件层的监控网关层Nginx、缓存Redis、消息队列RabbitMQ、Kafka、数据层MySQL、TomcatEs等。应用层监控应用层的使用HTTP访问量响应时间返回码调用链路分析性能瓶颈用户短监控异常状态监控异常指标数据监控等。
什么是好的监控系统 监控的指标化
日志数据结构化监控数据格式标准化统一的监控平台统一的日志分析
如何作出好的监控
大多数系统监控做的并不到位主要包含以下几点。
1.监控数据是隔离开的因为分工原因开发、应用运维、各管各的所以很多公司的监控系统是隔离的比如基础层监控报警运维只能发到大群里相关业务人员查看。开发人员依赖的中间件系统出现问题只能运维人员查看。2.监控的数据项太多没有重点指标太多等于没有重点没有信息。需要监控关键数据。
好的监控系统应该具备以下特征。
关注整体应用的SLA主要为用户服务的API监控整个系统。关联指标聚合将基础层、中间层、应用层数据监控关联起来和具体的机器绑定在一起。快速故障定位出现故障不可怕可怕的是不能快速定位故障找到根本原因。导致故障恢复的时间过长从而因为用户的稳定性。所以需要为分布式系统做一个用户请求跟踪的trace监控整体的调用链路。
一个很好的说法就是定时的体检监控系统是否有问题另一个就是出现问题进行急诊。
体检
容量管理提供一个全局的系统运行时数据的展示工程师可以知道是否需要增加机器或者其他资源。 性能管理可以查看大盘找到系统瓶颈并针对性的优化系统和相应代码。
急诊
定位问题可以快速找到问题的根本原因。快速修复。 性能分析出现高并发流量时可以快速排除问题。
如何做出一个好的监控系统
服务调用链跟踪 从用户请求的地方开始通过调用链将经过的网关、服务、相关数据中间件等服务进行串联起来一旦出现问题就可以快速定位问题在什么地方。 推荐使用Zipkin。java服务可以通过字节码注入方式做到无侵入式。 服务调用时长分布 当出现相应慢或者超时的时候可以通过调用时长定位出现问题的地方。 服务的Top N试图 通过邮件或者其他方式发送每日的接口Top 10的接口。访问次数、耗时接口、热点排名等 数据库操作关联 记录相关数据库操作可以通过字节码技术进行记录SQL操作的执行时间。 服务资源跟踪 我们的服务可能运行在物理机上也可能运行在虚拟机里还可能运行在一个 Docker 的容器里Docker 容器又运行在物理机或是虚拟机上。我们需要把服务运行的机器节点上的数据如 CPU、MEM、I/O、DISK、NETWORK关联起来。
通过上述的方式就可以将基础监控和业务联系起来。 1.当一台机器挂掉是因为CPU或IO过高的时候就可以马上知道影响到哪些对外服务的API。 2.当一个服务相应过慢的时候可以通过关联JVM GC或者资源等 或者依赖服务定位问题。 3.SQL操作过慢的时候可以定位影响的是哪个对外服务的API 4.消息队列拥塞的时候可以马上知道对外影响服务的API。
工作中实际经验
对于接触的公司来说基本都会进行基础层、应用层、中间层的系统监控。但是并没有将数据进行整合在一起。 当出现问题时基本的手段就是。 1.当天是否有上线新功能排除是否是新功能引发的BUG问题。 2.进行搜索 ERROR日志是否存在大量异常。 3.数据库、中间件层是否出现问题。 数据库是否连接失败网络操作。JVM相关。 4.系统的CPU、内存、磁盘、网络是否有问题使用TOP、free -h等查看。 5.是否出现瞬间的高流量导致服务扛不住压力崩溃。 6.系统存在的BUG 导致的系统故障。 7.依赖下游系统出现故障三方服务不正常等。
如果是逻辑问题看测试环境能否复原出生产现象从而进一步排除。
总体来说就是出现故障不可怕即时解决减少故障的恢复时间 最重要。
