检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loop内嵌对象 使用Loop内嵌对象可获取For Each节点数据集中的数据。 属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。
记录数据的根节点。
fromJobConfig.jsonReferenceNode 否 String 记录节点,当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。
例如,判断节点是否运行成功,可以使用如下判断条件,其中test为节点名称: #{(Job.getNodeStatus("test")) == "success" } 获取test节点运行状态。
如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
数据血缘的生成和展示,详情请参见节点数据血缘。 父主题: 数据目录
节点超时是否重试 对于作业节点运行超时导致失败的作业,可选择是否支持重试。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“节点超时是否重试”配置项。 配置节点运行超时是否重试。 否:作业节点运行超时导致失败后,不重新执行节点。
最大并发数 当前任务组作业节点最大并发数。 最大节点并发数即为当前DataArts Studio实例的并发数。 当前DataArts Studio实例的节点并发数上限为1000,请不要超过该上限。
在“作业开发”页面,新建数据开发作业,然后分别选择CDM节点和两个Dummy节点,选中连线图标并拖动,编排图1所示的作业。 其中CDM节点的失败策略需要设置为“继续执行下一节点”。
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题: 网络打通
节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通知:CDM的迁移作业(目前仅支持表/文件迁移的作业)失败时,或者EIP异常时,会发送短信或邮件通知用户。该功能产生的消息通知不会计入收费项。
在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。
Dummy: 空节点作业类型 location 是 Location数据结构 节点在作业画布上的位置,参考表7。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。
鼠标光标悬停在作业节点上,该作业节点会被标记为绿色,上游作业会被标记为蓝色,下游作业会被标记为黄色。 图2 上下游作业节点标记 在作业节点上右键单击,可进行查看作业、复制作业名称、收起上/下游作业等操作。
通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题: 数据开发
表1 右键节点功能 功能 说明 配置 进入该节点的“节点属性”页面。 删除 支持删除一个节点或同时删除多个节点。 单节点删除:右键单击画布中的节点图标,选择删除或按快捷键Delete。
更多 > 跳过 节点的状态为“待运行”或“已暂停节点”时,支持跳过该节点。 说明: 若实例为单节点实例,不支持跳过操作。为多节点实例支持跳过操作。 更多 > 暂停 作业的实例状态是运行中,节点的状态是等待运行的时候,支持暂停该节点,该暂停节点的后续节点将会被阻塞。
解决方案 CDM作业改名后,需要在数据开发作业的CDM节点属性中,重新选择改名后的CDM作业名称。 父主题: 数据开发
通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。 如需优化,请参见目的端数据源的相关说明文档。 父主题: 优化迁移性能