数据治理中心 DATAARTS STUDIO-跨空间进行作业调度:方案说明

时间:2024-11-12 17:24:52

方案说明

DataArts Studio 数据开发模块支持以事件触发的方式运行作业,因此通过DIS或者 MRS Kafka作为作业依赖纽带,可以跨空间实现作业调度。

如下图,工作空间A中的job1运行完成后,可以使用DIS Client或Kafka Client发送消息触发中继作业job_agent;job_agent配置事件触发调度,根据DIS Client或Kafka Client发送的消息触发运行后,判断消息是否符合预期,符合则触发job2作业运行,否则不再触发job2运行。

图1 调度方案
support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0101.html