数据治理中心 DATAARTS STUDIO-开发批处理单任务SQL作业:质量监控

时间:2024-12-17 20:07:39

质量监控

对已编排好的单任务作业关联质量作业,当前暂不支持单任务Data Migration作业和单任务的实时作业。

质量监控支持并行和串行两种方式。单击画布右侧“质量监控”页签,展开配置页面,配置如表6所示的参数。

表6 质量监控配置

参数

说明

执行方式

选择质量监控的执行方式:

  • 并行:并行模式下,所有质量作业算子的上游都被设置为主算子。
  • 串行:串行模式下,质量作业将依照配置面板由上至下的顺序依次串联,顶部的质量作业依赖于主算子。

质量作业

关联质量作业。

  1. 单击“新增”,右侧自动弹出Data Quality Monitor算子的页面。
  2. 节点名称可自定义。
  3. DQC作业类型选择“质量作业”。
    说明:

    对账作业目前不支持。

  4. 选择需要关联的“质量作业名称”,其他参数根据实际业务需要配置。如果没有质量作业,请参考新建数据质量作业创建一个质量作业。
    说明:
    • 单击“新增”可以关联多个质量作业。
    • 单击可以修改已关联的质量作业。
    • 单击可以删除已关联的质量作业。
  5. 是否忽略质量作业告警

    是:质量作业告警可以忽略

    否:质量作业告警不可忽略,产生告警时,上报告警。

  6. 配置高级参数。
    1. 配置节点执行的最长时间。设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
    2. 失败重试。节点执行失败后,是否重新执行节点

      是:重新执行节点,请配置以下参数。

      超时重试

      最大重试次数

      重试间隔时间(秒)

      否:默认值,不重新执行节点
      说明:

      如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。

      当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。

      当“失败重试”配置为“是”才显示“超时重试”。

    3. 节点执行失败后的操作:

      终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。

      继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。

      挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。

      终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。

  7. 单击“确定”,质量监控配置完成。
support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1436.html