HAYDN解决方案工厂-数据实施质量检查:DataArts Studio作业监控

时间:2024-07-04 19:44:56

DataArts Studio 作业监控

作业运行时长的影响因素包含计算资源的影响和处理数据的影响,因此,当作业运行时间波动很大时,表明计算资源或者表数据有问题。例如,临时表没有清理,表数据发散等等,到最后都会造成重大问题。本功能模块的作可以在这些bug产生较小的影响情况下发现并及时修改。

一般先查看作业的运行时间,如果时间有异常,再查看作业的哪些节点是否有异常。

  1. 作业监控规则配置
    • 作业运行时间波动范围:某个作业相对于历史平均运行时间的上下波动范围值。
    • 节点运行时间波动范围:作业的每个节点的相对于历史平均运行时间的上下波动范围值。
  2. 创建监控对象:选择对应的Region、 IAM 项目、DataArts studio实例、DataArts studio空间
    图19 创建监控对象
  3. 添加作业监控
    图20 添加作业监控
  4. 查看检查结果
    • 平均运行时间:该作业历史30天内执行的平均时间(中间的虚线)。
    • 最大波动执行时间:根据波动范围所求的,相对与平均值最大波动时间(最上方的虚线)。
    • 最小波动执行时间: 根据波动范围所求的,相对与平均值最小波动时间(最下方的虚线)

    在最大和最小波动时间内的作业,属于根据项目实际情况可接受的波动范围。超过波动则认为该作业有异常,需要通知相关人员进行定位。

    图21 DataArts Studio作业监控
support.huaweicloud.com/usermanual-haydncsf/haydncsf_04_0066.html