住房和城乡建设网站 上海,图片生成链接的网站,网站的备案信息,东莞网站建设 乐云seo由中国DBA联盟#xff08;ACDU#xff09;和墨天轮社区联合主办的第十三届数据技术嘉年华#xff08;DTC#xff09;于北京盛大召开。4月13日上午海信聚好看云平台负责人张纪宽受邀在『数据库生态软件』分论坛发表主题演讲《DBdoctor#xff1a;利用eBPF技术实现数据库智能…由中国DBA联盟ACDU和墨天轮社区联合主办的第十三届数据技术嘉年华DTC于北京盛大召开。4月13日上午海信聚好看云平台负责人张纪宽受邀在『数据库生态软件』分论坛发表主题演讲《DBdoctor利用eBPF技术实现数据库智能诊断与优化》。 以下是演讲主要内容文末附演讲PPT和视频获取方式。
一. 演讲思路
首先从数据库行业调研数据为切入分析数据库痛点紧接着重点介绍独有的技术创新提出重新定义数据库可观测解决方案进一步站在产品视角展示方案的应用场景最后站在用户视角给出场景的落地案例。整个分享层层递进逻辑鲜明配合纪宽一贯幽默又激情的演讲风格赢得场下阵阵掌声。
二. 分析数据库痛点
通过MySQL社区调研的数据库十大痛点墨天轮调研的DBA和架构师工作耗时数据为切入引出数据库性能问题作为第一大痛点且耗时最长。 进一步通过亲身体感介绍数据库性能的的挑战例如
**平时很好关键时候掉链子**比如每到放假或大促时候就会出现问题以前不慢的SQL关键时候就慢了。**出现问题定位时间长**通过已有监控和日志无法很快定位问题根因且定位过程中门槛高强依赖经验。**故障后没有解决方案**发生故障不能很快处理无法满足SLA的要求。
这些挑战可能会引发更进一步的不良现象比如
平时不重视出现问题再追责为时已晚整日忙于处理线上紧急问题临时救火出现故障后多个团队甚至同团队的推责扯皮
目前基于开源组件比如Prometheusgrafana很快能搭建一套监控系统大多数的公司也有监控平台为什么还会出现以上痛点演讲中给了进一步分析。 既然传统监控无法解决所以提出了基于新的采集技术配合数学量化模型来重新定义数据库的可观测打破传统的基于经验、规则、阈值的方法彻底解决数据库性能问题。
三. DBdoctor技术创新
1.重新定义数据采集代替传统采样 DBdoctor借助eBPF技术可以在不修改数据库内核代码的前提下拿到一条SQL语句执行过程中的关键资源消耗包含CPU/内存/IO等资源指标还包含数据库锁SQL执行消耗等详细指标这些内核细粒度指标是DBdoctor能重新定义数据库可观测性的关键。
2.精准数学模型代替传统经验
基于eBPF采集到的这些细粒度指标经过进一步大数据聚合分析把SQL的资源消耗映射为图形面积做到了从经验到数学的第一步转换紧接着通过三大数学模型做到更精准的诊断。 三大算法实现精准诊断
1). 相关性算法通过图形相关性的数学比对重新排序问题根因SQL进一步提升诊断精确性2). 预测识别算法通过AI预测未来半小时、1小时曲线结合历史SQL提前发现未来故障并预估故障根因3). 根因诊断算法通过资源、流量、锁、Cost、matrix等全量数据作为模型输入经过诊断模型和模型加权得出根因
3.问题自动推荐案例库 针对出现过的故障现场会自动保存问题快照进行多指标特征提取提取模型与案例标签联动后续再出现相同场景会进行自动案例推荐。在案例库中会给出问题解释通过具体的场景进行分析问题最后给出最佳实践。
4.一分钟内推荐索引全局最优 传统索引推荐大多基于规则只能匹配些简单场景无法覆盖线上场景真实。基于eBPF技术可以拿到数据的详细时空分布包含运行时的数据和存储中的数据基于这些数据通过自研外置优化器可实现无需真实执行便可精准评估SQL代价进一步经过表维度全局最优处理最终给出需要添加索引、修改索引删除索引的建议。
5.涵盖性能的SQL审核
目前业界SQL审核均采用静态规则SQL parse后命中已配置的规则进行简单的表结构、使用规范、安全等审核没有真正的考虑性能如果在上线前能评估开发人员的SQL语句进行性能评估在开发阶段就能发现问题SQL会大大提升线上稳定性。 DBdoctor基于上述1分钟内快速索引诊断能力单独搭建了一条SQL性能审核链路基于自研的外置Cost优化器开发人员在coding阶段就能评估引入的SQL语句审核是否存在性能问题如果存在问题同步给出优化建议。
6.DBdoctor功能架构 基于以上五大创新点便组合起了DBdoctor核心架构。最下层是基于eBPF的细粒度采集第二层是对细粒度数据进行大数据处理第三层是核心重点功能包含平台管理、主动发现问题、SQL根因分析、锁根因分析、优化建议、SQL审核、监控巡检最上层是展示层分为管理员、性能可观测平台、OpenAPI三个视角。
7.企业级解决方案
基于以上功能DBdoctor提供了企业级全方位性能诊断解决方案包含事前发现隐患事中精准诊断事后随时追溯。 8.DBdoctor核心价值 四. DBdoctor应用场景
DBdoctor基于eBPF技术重新定义数据采集并通过数学量化模型重新定义数据库性能可观测打破基于经验、规则、阈值的传统实现了从基于经验到基于数学的转换最终做到1分钟内精准定位问题SQL在多个场景上有着独特的优势。 场景一上线前发现SQL性能问题提前规避故障
研发工程师在开发阶段引入的新的SQL语句在发布上线前很难进行性能评估发布后容易对线上业务产生影响。业界传统SQL审核工具或产品多基于静态规则没有考虑到最关键的性能因素因此上线前的性能评估亟待解决。
DBdoctor通过自研外置Cost优化器创新性实现了覆盖性能诊断的SQL审核能够基于线上数据模型在发布上线前快速、精准评估SQL性能问题并给出优化建议提前规避线上故障的发生。 场景二疑难问题快速定位和诊断
数据库性能诊断技术门槛高。对疑难性能问题的解决强依赖DBA经验甚至需要购买数据库专家服务。由于缺少有效的现场信息经常会导致问题解决的时效性无法保证甚至无法解决。传统数据库监控工具对疑难问题的定位能力甚微例如高并发时的锁问题往往令专业DBA也感到头疼。
DBdoctor实时探测数据库内核就像给数据库做CT将疑难问题一网打尽而且能保留问题快照便于回溯。例如DBdoctor提供的锁透视功能涵盖锁等待、死锁、长事务、未提交事务四大锁场景通过环形图和泳道图的方式直观的慢动作回放问题现场快速定位加锁过程找到问题源头并给出详细的剖析过程真正做到疑难问题快速定位与诊断。 场景三主动发现问题并自动分析根因
传统数据库监控平台大多基于采样式监控结合阈值告警的方式发现问题由于数据库出现问题时影响面较广所以事出即紧急。从收到告警到分析监控指标和日志到定位问题根因再到出具解决方案整个链路时间不可控。故障处理需要争分夺秒很多互联网大厂通过故障恢复时间来定责但靠定责依然解决不了定位的时效性问题。
DBdoctor拥有主动发现问题的能力通过自研的主动识别算法实时对内核级指标进行计算一旦发现问题会立即触发根因识别算法快速产出根因诊断报告。报告会详细描述问题现象直指问题源头并给出优化建议解决了定位时效性问题可以有效减少故障时间确保SLA达成。
场景四自动给出优化建议降低问题解决门槛
出现性能问题时需要快速给出解决方案。在DBA较少或者无DBA的企业中通过开源组件自行搭建的传统监控平台很难定位到问题根因和提供有效的优化建议。随着信创替换的深入国产数据库引擎百花齐放这一痛点也进一步加剧。
DBdoctor拥有自动匹配场景的专家经验库。出现问题时用户可随时查看经验文档。文档中详细解释了每一事件通过案例的方式描述问题场景并给出最佳解决实践。
DBdoctor还自研外置Cost优化器能够一分钟内推荐最优索引哪怕是无DBA的企业也能快速使用DBdoctor优化性能问题。 五. DBdoctor用户案例 六. PPT视频下载
关注『DBdoctor』公众号回复ppt立即获取回复视频在线观看回放
七. DBdoctor推出长久免费版
在DTC大会众同仁的见证下DBdoctor重磅推出长久免费版如果您是个人用户或者想试用全部功能可随时联系小助手免费获取专业版license 在PC端打开体验更佳哦~ 1️⃣ 下载地址https://www.hisensecloud.com/h-col-126.html?statId9 2️⃣ 在线试用https://dbdoctor1.hisensecloud.com 关注公众号点击菜单栏【试用下载-在线试用】获取试用环境专属账号密码 3️⃣ 如何部署http://hisensecloud.com/h-col-133.html
