如何做网站的推广,用自己服务器做网站用备案,东莞网站开发前三强,网站建设用款参数传递是调度字体工作流运行时非常重要的一部分#xff0c;工作流的执行#xff0c;单个作业的执行#xff0c;多个工作流之间的依赖执行#xff0c;历史任务重算#xff0c;都涉及到参数传递和同步。1 参数类型综述azkaban的工作流中的参数可以分为如下几个类型#x…参数传递是调度字体工作流运行时非常重要的一部分工作流的执行单个作业的执行多个工作流之间的依赖执行历史任务重算都涉及到参数传递和同步。1 参数类型综述azkaban的工作流中的参数可以分为如下几个类型Azkaban UI 页面输入参数环境变量参数job作业文件中定义的参数工作流的用户定义的属性文件上游作业传递给下游的参数工作流运行时产生的系统参数job的common参数参数类型与其对应的参数范围如下参数类型作用域UI 页面输入参数 即工作流参数flow全局有效工作流ZIP压缩包中的属性文件(.properties结尾)flow全局有效,zip文件目录以及子目录有效工作流运行时参数flow全局有效环境变量参数flow全局有效job的common参数job内局部有效JOB文件中定义的参数job内局部有效上游作业传递给下游的参数job内局部有效2. job 参数简介commom参数除了type,command,dependencies三个参数外还有如下一些保留参数可以为每个job配置参数说明retries失败的job的自动重试的次数retry.backoff重试的间隔(毫秒)working.dir指定命令被调用的目录。默认的working目录是executions/${execution_ID}目录env.property指定在命令执行前需设置的环境变量。Property定义环境变量的名称因此 env.VAR_NAMEVALUE就创建了一个$VAR_NAME环境变量并且指定了它的VALUEfailure.emailsjob失败时发送的邮箱,用逗号隔开success.emailsjob成功时发送的邮箱,用逗号隔开notify.emailsjob成功或失败都发送的邮箱用逗号隔开一个flow的email属性只会取最后一个job的配置其他的job的email配置将会被忽略。3. job之间的参数传递先看官网的描述Parameter PassingThere is often a desire to pass these parameters to the executing job code. The method of passing these parameters is dependent on the jobtype that is run, but usually Azkaban writes these parameters to a temporary file that is readable by the job.The path of the file is set in JOB_PROP_FILE environment variable. The format is the same key value pair property files. Certain built-in job types do this automatically for you. The java type, for instance, will invoke your Runnable and given a proper constructor, Azkaban can pass parameters to your code automatically.Parameter OutputProperties can be exported to be passed to its dependencies. A second environment variable JOB_OUTPUT_PROP_FILE is set by Azkaban. If a job writes a file to that path, Azkaban will read this file and then pass the output to the next jobs in the flow.The output file should be in json format. Certain built-in job types can handle this automatically, such as the java type.意思是JOB_OUTPUT_PROP_FILE和JOB_PROP_FILE都是一个环境变量指向文件路径。参数传入:上游节点把需要输出的值以json的格式写入JOB_OUTPUT_PROP_FILE文件azkaban以job执行过程中上游job传递进来的临时参数运行时参数项目中配置文件的参数job定义中参数等 都保存在 ${JOB_PROP_FILE}文件中保存格式为keyvalue。执行job的中shell命令时可以作为参数传递。参数传出一个azkaban job执行结束可以将一些参数写入到${JOB_OUTPUT_PROP_FILE}文件 中azkaban会将这些参数传递到下游依赖的的job的参数文件${JOB_PROP_FILE}文件中供下游job引用。写入到${JOB_OUTPUT_PROP_FILE}文件中参数需要是json格式的否则会报json解析错。下游节点就可以在JOB_PROP_FILE中看到key-value形式的输出用${key}的方式使用变量。举例baseflow.flow#baseflow.flownodes:- name: jobBtype: commanddependsOn:- jobAconfig:command: sh commandB.sh ${firstName}- name: jobAtype: commandconfig:command: sh commandA.shcommandA.sh#!/bin/bashecho { firstName:John , lastName:Doe } ${JOB_OUTPUT_PROP_FILE}commandB.sh#!/bin/bashcat ${JOB_PROP_FILE} /root/azkaban.txtecho $1 /root/azkaban.txtjobB依赖JobAjobA执行完成后会一串json内容到${JOB_OUTPUT_PROP_FILE}指向的文件中JobA执行完成后jobB才可以执行等job执行时会将jobA输出的内容写入到/root/azkaban.txt,并追加参数中的firstName写入到文件中注意第一个参数只能通过shell调用的方式来传递。4 job参数之runtime属性runtime属性是在job运行期间自动被添加的参数说明azkaban.job.attemptjob重试次数从0开始增加azkaban.job.id运行的job nameazkaban.flow.flowid运行的job的flow nameazkaban.flow.execidflow的执行idazkaban.flow.projectid工程idazkaban.flow.projectversionproject上传的版本azkaban.flow.uuidflow uuidazkaban.flow.start.timestampflow start的时间戳azkaban.flow.start.yearflow start的年份azkaban.flow.start.monthflow start 的月份azkaban.flow.start.dayflow start 的天azkaban.flow.start.hourflow start的小时azkaban.flow.start.minutestart 分钟azkaban.flow.start.secondstart 秒azkaban.flow.start.millsecondsstart的毫秒azkaban.flow.start.timezonestart 的时区5 job参数之参数继承后缀为.properties的文件将会作为参数文件加载并且为flow中每个job所共享属性文件通过目录分层结构继承。比如在zip包中有以下结构system.propertiesbaz.jobmyflow/myflow.propertiesmyflow/myflow2.propertiesmyflow/foo.jobmyflow/bar.jobsystem.properties是全局的属性将会被baz.job和myflow目录下的foo.job和bar.job使用但是baz.job不会继承myflow.properties和myflow2.properties的属性因为是它的下层.6 job参数之参数替换azkaban支持参数替换替换参数样式 azkaban会替换{}中的参数。无论${parameterName} 在job file中或者在参数文件中或者运行时参数发现都可以被替换为对应的值。shared.properties# shared.propertiesreplaceparameterbarmyjob.job# myjob.jobparam1mytestfoo${replaceparameter} #${replaceparameter}会替换为barparam2${param1} # ${param1} 会被替换成mytest。前面这个例子在myjob 作业运行前foo 会被赋值为bar , param2会被赋值为mytest.注意参数名不能有空格标点符号等。7 shell动态传参azkaban中的shell 作业如何接收从webUI传递的参数7.1 UI页面输入参数定义ui_testtest1111111117.2 在job文件myjob.job指定##作业定义文件UI输入参数接收job_param4${ui_test}##作业定义文件脚本命令行引用UI输入参数sh test_azkaban_job.sh ${job_param4}7.3 shell test_azkaban_job.sh 的内容vim test_azkaban_job.shecho inputparamter:$1 #接收job文件中传递的参数。FAQ1在页面手动执行前面的job时如果UI参数ui_test在job执行没有输入会执行失败。异常信息如下hello ERROR - Failed to build job executor for job hello Could not find variable substitution for variable(s) [param4-ui_test ]在定时调度任务指定时需要指定工作流参数flowParameters ui_test避免该错误。7.4 shell中使用参数的注意事项在UI页面重新输入运行时参数时可以覆盖系统默认生成的参数值。运行时参数和UI输入的参数都可以认为是全局参数在整个工作流的作业配置中都可以通过 ${参数名} 的方式引用使用。在shell 中直接引用 公共参数运行时系统参数UI输入参数是无效的。在shell中只能直接使用环境变量公共参数运行时系统参数UI输入参数能只通过shell的脚本参数的方式传递进来。job文件中定义的环境变量参数可以在shell脚本中直接引用但只对当前job有效。8 reference
