南昌购物网站制作,在线考试系统网站开发,沈阳建站网页模板,上海黄页企业名录电话1. 产品简介
Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台#xff0c;提供定时、任务编排、分布式跑批等功能。使用Schedulerx2.0#xff0c;您可以在控制台配置管理您的定时任务#xff0c;查询历史执行记录#xff0c;查看运行日志。借助Sch…1. 产品简介
Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台提供定时、任务编排、分布式跑批等功能。使用Schedulerx2.0您可以在控制台配置管理您的定时任务查询历史执行记录查看运行日志。借助Schedulerx2.0您还可以通过工作流进行任务编排和数据传递。Schedulerx2.0还提供了简单易用的分布式编程模型简单几行代码就可以将海量数据分布式到多台机器上执行。
Schedulerx2.0提供了任务调度与执行的一整套解决方案在阿里巴巴集团内部广泛使用并久经考验具有高可靠、海量任务、秒级别调度等能力。
上线时间2019-04-30
钉钉群号23103656
2. 背景
Schedulerx2.0是Schedulerx1.0(DTS)的下一代产品采用全新的架构是全新自研的下一代分布式任务调度平台不但解决了老产品的性能瓶颈还提供了更多更快更强的能力。
更多支持多种时间表达式任务编排支持更多的业务场景。单集群支持上千万任务一天上十亿次调度支持更多的任务数。更快支持秒级别调度处理准实时业务。更强支持日志查询、原地重跑、重刷数据等多种操作提供更强的运维能力和排错手段解决为什么没跑为什么失败为什么跑得慢等问题。
3. 功能
3.1 强大的定时调度器
3.1.1 Crontab
支持unix crontab表达式不支持秒级别。
3.1.2 Fixed rate
众所周知crontab必须被60整除比如想每隔40分钟跑一次cron不支持。Fixed rate专门用来做定期轮询表达式简单不支持秒级别。
3.1.3 Fixed delay
适合对实时性要求比较高的业务比如每次执行完成隔10秒再跑那么second delay非常适合你。并且second delay能支持到秒级别。
3.1.4 日历
支持多种日历还可以自定义导入日历。比如金融业务需要在每个交易日执行。
3.1.5 时区
跨国的业务需要在每个国家的时区定时执行某个任务。
3.2 任务编排
支持工作流DAG进行任务编排操作简单前端直接单手操作拖拖拽拽即可。详细的任务状态图能一目了然看到下游任务为什么没跑。
3.3 任务类型
支持多种任务类型可以无限扩展。
java可以跑在用户进程中也可以上传jar包动态加载。shell前端直接写shell脚本。python前端直接写python脚本需要机器有python环境。go前端直接写go脚本需要机器有go环境。自定义用户甚至可以自定义任务类型然后实现一个plugin就行了。
3.4 执行方式分布式编程模型
3.4.1 执行方式
单机随机挑选一台机器执行广播所有机器同时执行且等待全部结束并行计算map/mapreduce模型1~300个子任务有子任务列表。内存网格map/mapreduce模型10W以下子任务无子任务列表基于内存计算比网格计算快。网格计算map/mapreduce模型100W以下子任务无子任务列表基于文件H2计算。
3.4.2 分布式编程模型
Map模型类似于hadoop mapreduce里的map。只要实现一个map方法简单几行代码就可以将海量数据分布式到客户自己的多台机器上执行进行跑批。MapReduce模型MapReduce模型是Map模型的扩展新增reduce接口所有子任务完成后会执行reduce方法可以在reduce方法中返回该任务实例的执行结果或者回调业务。
3.5 强大的运维能力
数据大盘控制台提供了执行记录大盘和执行列表可以看到每个任务的执行历史并提供操作。查看日志每条执行记录都可以详情中的日志页面实时看到日志。如果任务运行失败了前端直接就能看到错误日志非常方便。原地重跑任务失败修改完代码发布后可以点击原地重跑。标记成功任务失败如果后台把数据处理正确了重跑又需要好几个小时直接标记成功就好了。Kill实现JobProcessor的kill()接口你就可以在前端kill正在运行的任务甚至子任务。
3.6 数据时间
Schedulerx2.0可以处理有数据状态的任务。创建任务的时候可以填数据偏移。比如一个任务是每天00:30运行但是实际上要处理上一天的数据就可以向前偏移一个小时。运行时间不变执行的时候通过context.getDataTime()获得的就是前一天23:30。
3.7 重刷数据
既然任务具有了数据时间一定少不了重刷数据。比如一个任务/工作流最终产生一个报表但是业务发生变更新增一个字段或者发现上一个月的数据都有错误那么就需要重刷过去一个月的数据。
通过重刷数据功能可以重刷某些任务/工作流的数据只支持天级别每个实例都是不同的数据时间。
3.8 失败自动重试
实例失败自动重试在任务管理的高级配置中可以配置实例失败重试次数和重试间隔比如重试3次每次间隔30秒。如果重试3次仍旧失败该实例状态才会变为失败并发送报警。子任务失败自动重试如果是分布式任务并行计算/内网网格/网格计算子任务也支持失败自动重试和重试间隔同样可以通过任务管理的高级配置进行配置。
3.9 支持原生Spring
之前的老产品Schedulerx1.0(DTS)和spring的结合非常暴力对bean的命名有强要求经常遇到注入失败的问题。Schedulerx2.0支持原生spring语法接入更加的方便。
3.10 报警监控
失败报警超时报警报警方式短信
原文链接 本文为云栖社区原创内容未经允许不得转载。
