番禺做网站多少钱,威海住房和城乡建设局网站首页,有没有返利网站做京东的,wordpress区分移动站“轻舟已过万重山团队”荣获本届挑战赛亚军#xff0c;该团队来自华为集团IT-UniAI 产品和openEuler系统智能团队。
方案介绍 自ChatGPT问世以来#xff0c;AI迎来了奇点iPhone时刻#xff0c;这一年来大模型深入影响企业办公#xff0c;金融#xff0c;广告#xff0c;…“轻舟已过万重山团队”荣获本届挑战赛亚军该团队来自华为集团IT-UniAI 产品和openEuler系统智能团队。
方案介绍 自ChatGPT问世以来AI迎来了奇点iPhone时刻这一年来大模型深入影响企业办公金融广告营销等很多领域也给运维领域的挑战带来新的解题思路。我们洞察发现大模型给AIOps带来新机遇已有云厂商利用大模型对运维事故进行根因定位并给出故障缓解措施建议近7成以上运维人员对LLM的分析结果满意(3分)。我们认为AIOps需要拥有三大能力首先需要拥有针对运维领域海量知识快速获取、辅助诊断和故障分析能力其次需要拥有针对多模态数据进行快速高效准确的异常检测能力最后需要拥有针对多源复杂部署的运维数据进行快速根因定位能力。 针对这次开放式赛题我们的详细方案如上图所示针对主办方提供的Log, Metric, Trace三类运维数据我们分别构建了异常检测基础模型一旦系统接受到异常即会通知LLM主管Agent主管Agent对异常问题进行决策与子领域Agent进行桥接多个子领域Agent协同工作实现运维故障自动诊断和多个任务模型的编排提升运维效率。 我们针对不同的数据源分别打造了三个基础模型首先是metric异常检测我们对不同对象不同采集频率的运维数据进行分组然后根据指标变化曲线提取不同窗口的差分特征第三步是将同类型的指标时序进行融合后利用多个异常检测器进行异常检测和时间聚类一旦发现异常则通知LLM主管Agent进行决策检测Agent收到详细检测的指令则进一步利用多个异常检测器进行细致的异常检测。 其次是Log异常检测今年的Log类型可以分为两大类Redis GC和Access日志针对Redis GC日志首先使用结构分类模型检测是否需要语义信息如果需要语义信息那么我们会使用运维领域的预训练语言模型如BigLog等之后是由Deep SVDD进行半监督异常检测检测出不需要语义信息的部分则使用DRAIN进行模板提取后使用sADR进行半监督异常检测最终对时间进行聚类后输出故障发生的时段和关键异常日志文本信息针对Access日志我们使用结构化提取成时间序列后进行异常检测对时间聚类后最终输出故障发生的时段和状态码信息。 针对Trace数据我们有两部分输出一部分是根据Trace信息实时生成动态拓扑作为根因定位的输入另一部分针对调用链节点之间的时长构成调用链时间序列进行异常检测。 结合大模型的技术演进趋势从zero-shot-one-shot-few-shot从Chain of thought-Tree of thought-Graph of thought从Single-Agent增强到Multi-Agent协同Multi-Agent在激发大模型能力的同时也带来了新的技术挑战近期业界实践已发现Multi-Agent架构如果缺少合理的组织管理与协同沟通方法时Multi-Agent的效果可能会比Single-Agent更差我们认为在通过大模型通往AGI的道路上我们需要将Agent当作平等的人类非工具来看待因此多Agent的组织管理与协同需要借鉴管理“人”的方法我们希望在基于Agents组织架构上探索一套基于企业组织管理方法的多Agent协同框架例如通过KPI树方法分解任务通过PDCA方法反馈循环提高Agent工作效率通过企业高效会议管理方法来合理组织运维War Room的Agent进入和退出实现多Agent的高效协同诊断。 这里我们用一张流程图详细阐述多Agent是如何协同工作的。系统发现Weblogic16和17发现异常主管Agent收到异常通知后从企业内源的知识库中获取到这两个节点是关键节点组织检测Agent、根因定位Agent、故障分析Agent等开始工作。检测Agent这时候根据故障知识树首先执行磁盘检测发现异常程度高得到高优先级结论不用进一步检查CPU指标检测Agent会输出详细的针对这两个节点的所有异常指标异常发生时间异常程度等。根因Agent根据详细检测的结果分析出根因节点为Weblogic 16, 故障分类Agent根据根因节点信息及异常指标的描述异常程度判断为磁盘故障故障分析Agent这时候会给出针对这个故障的详细的分析报告包含故障爆炸半径以及修复建议等。 最后我们方案创新地提出基于企业组织管理方法的多Agent协同框架复杂运维任务处理更高效使用多Agent协同完成运维主流程异常检测-根因定位-故障分类-故障分析-修复建议构建的多模态异常检测基础模型包含Trace、Metric、Log数据处理能力开箱即用框架与算法不依赖具体特定应用场景结合大模型实现较强的泛化能力故障诊断报告体现可解释的故障爆炸半径为实际生产运维故障快速恢复提供有力依据各模块松耦合可插拔可以全面应用于各类场景故障快速恢复需求已在公司内部多场景落地。
【参考文献】
Zhang S, Pan Z, Liu H, et al. Efficient and Robust Trace Anomaly Detection for Large-Scale Microservice Systems. ISSRE, 2023. Li D, Zhang S, Sun Y, et al. An Empirical Analysis of Anomaly Detection Methods for Multivariate Time Series. ISSRE, 2023. Wang Z, Liu Z, Zhang Y, et al. RCAgent: Cloud Root Cause Analysis by Autonomous Agents with Tool-Augmented Large Language Models. arXiv, 2023. Jin P, Zhang S, Ma M, et al. Assess and Summarize: Improve Outage Understanding with Large Language Models. ESEC/FSE, 2023. Chen Y, Xie H, Ma M, et al. Empowering Practical Root Cause Analysis by Large Language Models for Cloud Incidents. arXiv, 2023. Zhou X, Li G, Sun Z, et al. D-Bot: Database Diagnosis System using Large Language Models. arXiv, 2023. Zhou X, Li G, Liu Z. Llm as dba. arXiv, 2023. Wen Q, Gao J, Song X, et al. RobustSTL: A robust seasonal-trend decomposition algorithm for long time series. AAAI, 2019. Liu Y, Tao S, Meng W, et al. LogPrompt: Prompt Engineering Towards Zero-Shot and Interpretable Log Analysis. arXiv, 2023. Tao S, Liu Y, Meng W, et al. Biglog: Unsupervised large-scale pre-training for a unified log representation. IWQoS, 2023. Ma L, Yang W, Xu B, et al. KnowLog: Knowledge Enhanced Pre-trained Language Model for Log Understanding. ICSE, 2023. Zhong Z, Fan Q, Zhang J, et al. A Survey of Time Series Anomaly Detection Methods in the AIOps Domain. arXiv, 2023. Wu H, Hu T, Liu Y, et al. Timesnet: Temporal 2d-variation modeling for general time series analysis. ICLR, 2023. Yu G, Chen P, Li P, et al. Logreducer: Identify and reduce log hotspots in kernel on the fly. ICSE, 2023.
