检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚本使用了参数，此处显示脚本参数名称（例如DATE），请在参数名称后的输入框配置参数值。
在本地数据中心和云服务VPC之间建立VPN通道。 通过NAT（网络地址转换，Network Address Translation）或端口转发，以代理的方式访问。
如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。
用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。
分别选择Dummy节点和DIS Client节点，选中连线图标并拖动，编排如图2所示的作业。 Dummy节点不执行任何操作，本例选择Dummy节点仅为演示操作，实际使用中您可以用其他作业节点替代。 DIS Client节点用于发送消息。
图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 如果设置为保持不变，则各节点保持原来的节点轮询时间。
图2 新建作业 在作业开发页面，拖动1个Dummy节点、8个CDM Job节点、和2个Import GES节点到画布中，选中连线图标并拖动，编排图3所示的作业。 其中Dummy节点不执行任何操作，只作为起始点的标识。
节点映射表达式写法固定为“${节点编码|payload}”，节点编码可通过在API编排的画布中，单击节点后在节点详情中查看，并支持通过复制。
运行CDM作业的REST节点配置完成后，添加等待CDM作业完成节点，节点属性为： 节点名称：等待作业运行完成。
图12 码表维度数据填充节点属性 等待节点：不做任何事情，等待前面的节点运行结束。 图13 等待节点 按付款方式汇总统计节点：为MRS Hive SQL节点，按付款方式维度统计汇总截止到当前日期的收入。
例如，判断节点是否运行成功，可以使用如下判断条件，其中test为节点名称： #{(Job.getNodeStatus("test")) == "success" } 获取test节点运行状态。
当5000<作业节点调度次数/天配额<=20000时，节点运行的并行数上限为100。 当20000<作业节点调度次数/天配额<=40000时，节点运行的并行数上限为200。 当40000<作业节点调度次数/天配额<=80000时，节点运行的并行数上限为300。
图3 查看作业 在数据资产搜索结果中，类型名称末尾带“_node”的数据资产为节点，单击某一节点名称，可以查看节点的详情。在节点（需是支持血缘的节点类型）详情页面，可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标，可以进一步展开查看血缘的上下链路。
选择MRS Spark SQL节点和For Each循环执行的节点，让CDM子作业循环执行，并配置节点属性参数。 配置MRS Spark SQL节点的属性参数，并关联已创建的脚本maxtime。
第二个节点引用第一个节点的输出，此时可通过EL表达式分割字符串结果，获取前一节点输出的字段值。
自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。
图7 新建作业 图8 配置作业 在作业开发页面，拖动2个CDM Job节点、3个Dummy节点和2个DWS SQL节点到画布中，选中连线图标并拖动，编排图9所示的作业。 图9 连接和配置节点属性 关键节点说明： Begin（Dummy节点）：不执行任何操作，只作为起始点的标识。
图2 创建作业 然后进入作业开发页面，拖动DLI Spark节点到画布并单击，配置节点的属性。 图3 配置节点属性 关键属性说明： DLI队列：DLI中创建的DLI队列。 作业运行资源：DLI Spark节点运行时，限制最大可以使用的CPU、内存资源。
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
status 否 String 节点状态： STARTING：启动中 NORMAL：正常 EXCEPTION：异常 STOPPING： 停止中 STOPPED：停止 logPath 否 String 节点运行日志路径 type 是 String 节点类型： Hive SQL：执行Hive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
