检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 如果设置为保持不变,则各节点保持原来的节点轮询时间。
节点映射表达式写法固定为“${节点编码|payload}”,节点编码可通过在API编排的画布中,单击节点后在节点详情中查看,并支持通过复制。
图12 码表维度数据填充节点属性 等待节点:不做任何事情,等待前面的节点运行结束。 图13 等待节点 按付款方式汇总统计节点:为MRS Hive SQL节点,按付款方式维度统计汇总截止到当前日期的收入。
例如,判断节点是否运行成功,可以使用如下判断条件,其中test为节点名称: #{(Job.getNodeStatus("test")) == "success" } 获取test节点运行状态。
选择MRS Spark SQL节点和For Each循环执行的节点,让CDM子作业循环执行,并配置节点属性参数。 配置MRS Spark SQL节点的属性参数,并关联已创建的脚本maxtime。
运行CDM作业的REST节点配置完成后,添加等待CDM作业完成节点,节点属性为: 节点名称:等待作业运行完成。
当“5000<作业节点调度次数/天配额<=20000”时,节点运行的并行数上限为100。 当“20000<作业节点调度次数/天配额<=40000”时,节点运行的并行数上限为200。 当“40000<作业节点调度次数/天配额<=80000”时,节点运行的并行数上限为300。
图3 查看作业 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。
第二个节点引用第一个节点的输出,此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值。
图7 新建作业 图8 配置作业 在作业开发页面,拖动2个CDM Job节点、3个Dummy节点和2个DWS SQL节点到画布中,选中连线图标并拖动,编排图9所示的作业。 图9 连接和配置节点属性 关键节点说明: Begin(Dummy节点):不执行任何操作,只作为起始点的标识。
自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动配置血缘时,此节点的自动血缘解析将不生效。
error_node (从错误节点开始重跑) first_node (从第一个节点开始重跑)、 specified_node (从指定的节点开始) ,默认从重跑位置默认节点开始。 job_param_version 否 String 使用的作业参数。
Dummy: 空节点作业类型 location 是 Location数据结构 节点在作业画布上的位置,参考表6。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。
mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042 用户名 连接Cassandra的用户名。
图2 创建作业 然后进入作业开发页面,拖动DLI Spark节点到画布并单击,配置节点的属性。 图3 配置节点属性 关键属性说明: DLI队列:DLI中创建的DLI队列。 作业运行资源:DLI Spark节点运行时,限制最大可以使用的CPU、内存资源。
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
status 否 String 节点状态: STARTING:启动中 NORMAL:正常 EXCEPTION:异常 STOPPING: 停止中 STOPPED:停止 logPath 否 String 节点运行日志路径 type 是 String 节点类型: Hive SQL:执行Hive
- 终端节点 待连接DIS的URL,URL一般格式为:https://Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。
location 是 Location数据结构 节点在作业画布上的位置,参考表7。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。
- 直连模式 适用于主节点网络通,副本节点网络不通场景。 说明: 直连模式服务器列表只能配一个ip。 直连适用于主节点网络通,副本节点网络不通场景。 否 父主题: 配置连接参数