检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM未使用数据传输功能时,是否会计费? CDM集群运行状态下,即便未使用也是正常计费的。 如果长期不使用建议删除集群,需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题: 数据集成
便说明,本例中假设“依赖的作业失败后,当前作业处理策略”参数设置为“继续执行”,作业A不判断作业B的实例运行状态;如果该参数设置为“挂起”或“取消执行”,则作业A还会额外判断作业B的实例中是否存在失败实例。 同周期依赖:即作业A与其依赖作业B为相同调度周期,如分钟依赖分钟、小时依赖小时或天依赖天。
消息触发作业运行。 IF判断条件设置,用于校验DIS Client节点发送的消息是否符合预期,符合才会继续执行Subjob节点,否则跳过。 右键单击连线,选择“设置条件”,在弹出的“编辑参数表达式”文本框中输入IF判断条件,失败策略保持默认即可。IF判断条件为通过EL表达式语法填
DataArts Studio是否支持私有化部署到本地或私有云? DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Onli
填写Json格式的请求消息体。当“HTTP方法”为“POST”、“PUT”时,显示该配置项。 是否需要判断返回值 否 设置是否判断返回消息的值和预期的一致。当“HTTP方法”为“GET”时,显示该配置项。 YES:检查返回消息中的值是否和预期的一致。 NO:不检查,请求返回200响应码(表示节点执行成功)。
数据开发可以创建多少个作业,作业中的节点数是否有限制? 问题描述 数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。
基线管理 为了保障重要任务能按时完成,用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。 创建基线 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理? 可能原因 相互依赖的几个作业,调度过程中某个作业执行失败。 解决方案 这种情况会影响后续作业,后续作业可能会挂起,继续执行或取消执行。 图1 作业依赖关系 这时请勿停止作业,您可以将失败的作业实
的天周期作业是否全部运行完成,而不是由当月的天周期作业决定。 例如在11月中,11月的月周期作业是否运行取决于10月的天周期作业是否全部运行完成。 父主题: 数据开发
查询SQL获取max值传递给CDM作业 场景描述 通过查询SQL语句,将获取到的最大时间的max值传递给CDM作业。在CDM作业的高级属性里面,通过where子句判断最大时间范围,获取所需要的迁移数据,从而完成数据迁移任务,最终完成增量迁移任务。 约束条件 已完成新建数据连接的操作。 已完成新建数据库的操作。
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发,需要获取SQL节点的输出结果值,并将结果应用于后续作业节点或判断时,可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时,输出结果为二维数组形式
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发,需要获取SQL节点的输出结果值,并将结果应用于后续作业节点或判断时,可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时,输出结果为二维数组形式
子,只能获取上级算子请求参数或结果集进行条件判断。 并行处理算子可选,位于中间层,必须至少有2个分支,最多支持20个分支,必须配置失败策略。 注意,并行处理的直接下游不能为输出处理算子,只能支持同时执行多个分支逻辑,分支间互不影响。 有且只有一个输出处理算子,并位于最下游,直接上
由于CDM作业是异步运行的,运行作业的REST请求返回200,不代表数据已经迁移成功。后续有计算作业依赖CDM的迁移作业时,需要一个RestAPI节点去周期判断迁移是否成功,如果CDM迁移成功,再去做计算操作。查询CDM迁移是否成功的API,具体请参见《云数据迁移API参考》中“查询作业状态”章节。
MRS Hudi数据连接参数说明 表1 MRS Hudi连接 参数 是否必选 说明 数据连接类型 是 MRS Hudi连接固定选择为MapReduce服务(MRS Hudi)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
配置条件分支算子 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断,根据定义的表达式来确定下一步执行的分支。注意,多个分支满足条件时仅执行第一个满足条件的分支。 表1 条件分支算子 参数 说明 分支1 条件类型 选择条件类型。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时,将执行该分支。
MRS Spark数据连接参数说明 表1 MRS Spark数据连接 参数 是否必选 说明 数据连接类型 是 MRS Spark连接固定选择为MapReduce服务(MRS Spark)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
MRS Impala数据连接参数说明 表1 MRS Impala数据连接 参数 是否必选 说明 数据连接类型 是 MRS Impala连接固定选择为MapReduce服务(MRS Impala)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
MRS Kafka数据连接参数说明 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务(MRS Kafka)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
MRS Clickhouse数据连接参数说明 表1 MRS Clickhouse数据连接 参数 是否必选 说明 数据连接类型 是 MRS Clickhouse连接固定选择为MapReduce服务(MRS Clickhouse)。 数据连接名称 是 数据连接的名称,只能包含字母、数