检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
枚举 “fromJobConfig.inputFormat”(文件格式)选择为“BINARY_FILE”(二进制格式)时才有该参数,选择是否对已加密的文件解密后再导出,以及解密方式: NONE:不解密,直接导出文件。 AES-256-GCM:使用AES-256-GCM(NoPadding)算法解密后再导出文件。
Yarn和DLI队列资源,并为用户组/用户配置对应的队列权限策略。 当为工作空间分配队列资源后,在数据开发组件在为作业节点配置队列资源时,可选择的队列为当前空间下已分配的队列资源。 当为用户组/用户配置队列权限策略后,授权对象将按照策略内容被授予相应权限。 配置空间资源权限策略 数据安全支持对空间资源进
开发并执行用于创建数据表的SQL脚本,从而创建数据表。 本章节以可视化模式和DDL模式为例,介绍如何在数据开发模块新建数据表。 前提条件 已创建数据库及DWS数据库模式,请参见新建数据库和(可选)新建数据库模式。 已在数据开发模块中创建与数据表类型匹配的数据连接,请参见新建数据连接。
详细使用方法请参见迁移文件时加解密。 KMS KMS ID 写入文件时加密使用的密钥,“加密方式”选择“KMS”时显示该参数。单击输入框后面的,可以直接选择在数据加密服务中已创建好的KMS密钥。 当使用与CDM集群相同项目下的KMS密钥时,不需要修改下面的“项目ID”参数。 当用户使用其它项目下的KMS密钥时,需要修改下面的“项目ID”参数。
内且企业项目相同的MRS集群,如果需要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执
CdmQueryClusterInstanceDetail 参数 参数类型 描述 configurationStatus String 节点配置状态: In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。 paramsGroupId String 配置ID。 type String
Integer 可创建标签数量配额额。 tags Array of OpenTag objects 标签实体。 total Integer 已创建的标签总条数。 表5 OpenTag 参数 参数类型 描述 name String 标签名称。 description String 标签描述。
持使用在云数据迁移CDM服务控制台购买的折扣套餐(按需资源包)。 如果当前绑定区域有1个或多个对应实例规格的CDM集群,则扣费方式是先扣除已购买资源包内的时长额度,超出部分以按需计费的方式进行结算(资源包对应多个集群时,会出现每月订购周期内可使用时长不足的情况)。 例如购买了1个
MapReduce算子和MRS Spark算子jar包参数中字符串参数(使用""括起来的参数)拆分规则。 等待运行实例同步作业版本策略 运维调度 已生成的等待运行的作业实例,此时发布新的作业版本后,实例是否会使用最新的作业版本运行。 Hive SQL及Spark SQL执行方式 脚本/作业开发
图10 where条件开关 配置完成后,单击“确定”,完成维度表字段批量关联质量规则。 删除维度表 如果待删除的维度表处于发布审核中、已发布或下线审核中状态,则无法删除。用户可以通过维度管理来删除维度表。 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。
表12 DependJob数据结构说明 参数名 是否必选 参数类型 说明 jobs 是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。 PRE_PERIOD
用户自定义版本名。 version_num 否 Long 获取模板信息时候的版本号。 status 否 Integer 规则模板状态,0表示下线,1表示已发布。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 id Long 规则模板ID。 name String 规则模板名称。
表13 DependJobs数据结构说明 参数名 是否必选 参数类型 说明 jobs 是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。 PRE_PERIOD
在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。 进入已添加当前用户的工作空间,进入各功能组件(例如管理中心和数据质量),查看能否正常进行数据质量业务操作,并验证当前用户是否具备其他组件的操作权限。
用户自定义版本名。 version_num 否 Long 获取模板信息时候的版本号。 status 否 Integer 规则模板状态,0表示下线,1表示已发布。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 id Long 规则模板ID。 name String 规则模板名称。
表13 DependJobs数据结构说明 参数名 是否必选 参数类型 说明 jobs 是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。 PRE_PERIOD
CDM迁移作业时,需确保两个集群版本的JSON文件格式保持一致,才可以从将源集群的作业导入到目标集群。 作业运行过程中,任务异常中断,目标端已写入的部分数据不会清理,需手动清理。 单文件传输大小不超过1TB。 数据库迁移通用限制和约束 CDM以批量迁移为主,仅支持有限的数据库增量迁
义便于记忆、区分的连接名。 hivelink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
target_model_id 否 String 关系建模的目标模型ID,ID字符串。 注意:当使用已经存在的target_model_name时,该值为必填项,且要与已存在的模型ID保持一致。 target_model_name 是 String 工作区名字。 description 否 String 描述。
已在管理中心创建Ranger类型的数据连接,并确保已参考MRS Ranger数据连接参数说明填写正确的RangerAdmin业务IP和Ranger服务端口。 在管理中心测试Ranger数据连接时,不会校验Ranger业务IP和服务端口,即使填写错误也不会提示,因此建议进行人工检查。 已开启对应MRS集群的R