检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业依赖时,被关联的脚本/作业均会读取开发态的配置。 生产态:提交后版本的脚本/作业为生产态,用于正式调度。在正式调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。 前提条件 已完成脚本开发任务。 提交脚本版本 “提交”会将当前开发态的最新脚本
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
则模板”页面在“结果说明”一列中查看质量规则支持的告警参数。 例如:${1}>100 表达式 只有当“规则名称”配置为“表达式校验”或者“合法性校验”时,需要配置表达式。 返回“导入数据标准”对话框,选择上一步配置好的数据标准模板文件,然后单击“上传文件”。 如果上传的模板文件校验不通过,请修改正确后,再重新上传。
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 重跑策略 从上一个检查点重跑 重新启动 输入数据路径 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 设置输出数据路径,系统
一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠,否则可能导致数据重复或混乱,用户请谨慎操作。 如果勾选了“按日期倒序补数据”,则系统按照日期倒序补跑,每日内的补数顺序仍是正序。 说明: 该功能适合在各日数据不耦合的条件下使用。 为保证补数可以倒序进行,补数据作业对更早日期作业实例的依赖关系将被忽略。
一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠,否则可能导致数据重复或混乱,用户请谨慎操作。 如果勾选了“按日期倒序补数据”,则系统按照日期倒序补跑,每日内的补数顺序仍是正序。 说明: 该功能适合在各日数据不耦合的条件下使用。 为保证补数可以倒序进行,补数据作业对更早日期作业实例的依赖关系将被忽略。
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
模板。“字段级规则”中的“字段平均值”、“字段汇总值”、“字段最大值”、“字段最小值”模板不支持生成异常数据。 当质量作业设置周期调度或重跑时,每次实例运行的扫描的异常数据会持续插入该异常表。建议您定期到该数据湖中清理异常表数据,避免异常数据表超大带来的成本与性能问题。 当规则类
例,则作业A“挂起”或“取消执行”。 “依赖的作业失败后,当前作业处理策略”参数配置为“继续执行”,只要其依赖的作业B在某段时间内所有实例跑完(不判断其状态),则作业A就继续执行。 图1 作业依赖属性 本章节主要介绍设置依赖作业的条件,以及设置依赖作业后的作业运行原理。 设置依赖作业的条件
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
的实例快照。 周期任务每调度一次,便生成一个实例工作流。用户可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 表5 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。 分钟 小时
cursor 游标数据类型。 不支持 不支持 不支持 sql_variant 用于存储除文本,图形数据和timestamp数据外的其它任何合法的Sql Server数据,可以方便Sql Server的开发工作。 不支持 不支持 不支持 table 用于存储对表或视图处理后的结果集。