检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
906f-a8655461897e.apigw.cn-north-1.huaweicloud.com/app1"); request.addQueryStringParam("name", "value"); request.addHeader("Content-Type", "text/plain
email String 审核人邮箱。 msg String 审核信息。 directory_path String 目录树。 表10 BizVersionManageVO 参数 参数类型 描述 id String ID信息,ID字符串。
email String 审核人邮箱。 msg String 审核信息。 directory_path String 目录树。 表10 BizVersionManageVO 参数 参数类型 描述 id String ID信息,ID字符串。
Waiting(Dummy节点):不执行任何操作,作为等待前侧节点执行结束的标识。
"DS.60xx", "error_msg" : "The user request is illegal." } 状态码: 401 { "error_code" : "DS.60xx", "error_msg" : "User authentication failed
__": # The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks.
表2 方法说明 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。
domain:非全局级别。 用户自定义字段 该配置项是在DataArts Studio数据架构的“配置中心 > 标准模板管理”中添加的自定义项。您可以根据实际情况添加一个或多个自定义项,名称可以自己定义。有关添加自定义项的更多信息,请参见标准模板管理。 描述 描述信息。
当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“fromJobConfig.waitTime”(等待时间)参数中配置。 fromJobConfig.markerFile 否 String 启动作业的标识文件名。
随着大数据和AI的发展,数据湖中数据的价值逐渐水涨船高,价值被重新定义。数据湖能给企业带来多种能力,例如实现数据的集中式管理,帮助企业构建更多优化后的运营模型,也能为企业提供其他能力,如预测分析、推荐模型等,这些模型能刺激企业能力的后续增长。
要使Flink Checkpoin生效,需要配置两个运行参数: 用来控制checkpoint间隔 -yD:execution.checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD:state.checkpoints.num-retained
作业特性 否 作业使用的Spark镜像类型,当前支持基础型、AI增强型和自定义的Spark镜像。 自定义镜像需要选择自定义镜像名称和对应版本。仅当DLI队列为容器化队列类型时,出现本参数。 自定义镜像是DLI的特性。
说明: 如果OBS桶创建超过上限,系统会自动提示“创建obs目录失败,错误原因:[Create OBS Bucket failed:TooManyBuckets:You have attempted to create more buckets than allowed]”。
Checkpoin生效,需要配置两个运行参数: 图1 配置运行程序参数 用来控制checkpoint间隔 -yD:execution.checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD:state.checkpoints.num-retained
作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pending”表示正在等待系统调度该作业,“Booting”表示正在分析待迁移的数据。 父主题: 在CDM集群中创建作业