检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
fromJobConfig.jsonReferenceNode 否 String 记录节点，当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。
数据血缘的生成和展示，详情请参见节点数据血缘。 父主题： 数据目录
最大并发数 当前任务组作业节点最大并发数。 最大节点并发数即为当前DataArts Studio实例的并发数。 当前DataArts Studio实例的节点并发数上限为1000，请不要超过该上限。
"true" : "false"} 图2 设置条件 关于EL表达式的语法，您可以查看EL表达式参考；关于IF条件的使用，您可以查看IF条件判断教程。 配置节点属性。单击画布中的节点，在右侧显示“节点属性”页签，默认展开此配置页面，请参见节点概述配置具体节点的属性。
父主题： 管理中心典型场景教程
节点超时是否重试 对于作业节点运行超时导致失败的作业，可选择是否支持重试。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“节点超时是否重试”配置项。 配置节点运行超时是否重试。 否：作业节点运行超时导致失败后，不重新执行节点。
但是不同的工作空间之间的作业如果存在依赖关系，可参见本教程操作实现跨空间作业调度。 方案说明 DataArts Studio数据开发模块支持以事件触发的方式运行作业，因此通过DIS或者MRS Kafka作为作业依赖纽带，可以跨空间实现作业调度。
Dummy: 空节点作业类型 location 是 Location数据结构 节点在作业画布上的位置，参考表7。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。
鼠标光标悬停在作业节点上，该作业节点会被标记为绿色，上游作业会被标记为蓝色，下游作业会被标记为黄色。 图2 上下游作业节点标记 在作业节点上右键单击，可进行查看作业、复制作业名称、收起上/下游作业等操作。
如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置节点调度任务（实时作业）。
节点配置：集群规格、CPU和内存配置等信息。 网络信息：网络配置。 支持修改集群的以下配置： 消息通知：CDM的迁移作业（目前仅支持表/文件迁移的作业）失败时，或者EIP异常时，会发送短信或邮件通知用户。该功能产生的消息通知不会计入收费项。
具体使用教程可参见跨空间进行作业调度。 是否空跑 如果勾选了空跑，任务不会实际执行，将直接返回成功。 任务组 选择已配置好的任务组。配置方法请参见配置任务组。 系统默认“不选择任务组”。
通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题： 数据开发
管理资源 用户可以通过资源管理功能，上传自定义代码或文本文件作为资源，在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。
解决方案 CDM作业改名后，需要在数据开发作业的CDM节点属性中，重新选择改名后的CDM作业名称。 父主题： 数据开发
首次新建流程时，可选择在流程的根节点下新建流程。 图1 流程设计 在弹出对话框中配置如下参数，然后单击“确定”完成流程的创建。 图2 新建流程 表1 新建流程参数说明 参数名 说明 流程名称 流程名称，只允许除/、\、<、>、%、"、'、;及换行符以外的字符。
问题现象 查看数据开发的节点日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限”，如下图所示： 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中，您所在的用户组没有OBS的操作权限，导致在查看节点日志时系统提示报错，或者OBS日志文件不存在时系统提示报错
更多 > 跳过 节点的状态为“待运行”或“已暂停节点”时，支持跳过该节点。 说明： 若实例为单节点实例，不支持跳过操作。为多节点实例支持跳过操作。 更多 > 暂停 作业的实例状态是运行中，节点的状态是等待运行的时候，支持暂停该节点，该暂停节点的后续节点将会被阻塞。
数据开发 数据开发概述 数据管理 脚本开发 作业开发 离线处理集成作业开发 实时处理集成作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
