检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选
列名不支持“&”字符,否则会导致作业迁移失败,需修改CSV文件“&”字符即可正常迁移。 是 编码类型 文件编码类型,例如:“UTF-8”或“GBK”。只有文本文件可以设置编码类型,当“文件格式”选择为“二进制格式”时,该参数值无效。 GBK 压缩格式 选择对应压缩格式的源文件: 无:表示传输所有格式的文件。
单击“下一步”,配置调度方式,如图11所示。 图11 调度配置 单次调度表示需要手动触发运行,周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例,设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”, 完成对账作业的创建。 执行对账作业并查看结果分析 在数据质量模块左侧导航栏中,选择“数据质量监控
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Script参数说明 参数名 是否必选
脚本名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Script参数说明 参数名 是否必选
path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: {
列名不支持“&”字符,否则会导致作业迁移失败,需修改CSV文件“&”字符即可正常迁移。 是 编码类型 文件编码类型,例如:“UTF-8”或“GBK”。只有文本文件可以设置编码类型,当“文件格式”选择为“二进制格式”时,该参数值无效。 GBK 压缩格式 选择对应压缩格式的源文件: 无:表示传输所有格式的文件。
小时依赖小时 规则:每个自然小时周期内的实例产生依赖,区间边界是自然小时[00:00,00:59]。 举例1:A依赖B,在同自然小时内,无论A、B设置在什么时间点执行,A永远在B之后执行。 图7 小时依赖小时举例一 举例2:A依赖B,A在每小时5分0秒执行,B在12分执行,A会等B执行完成后执行。
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DataArts Studio资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DataArts Studio资源委托给更专业、高效的其他华为账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
盖。 源表与目标表映射:Oracle为源端时,暂不支持迁移CLOB、NCLOB和BLOB类型。 图3 配置源表与目标表映射 Hudi表必须设置“同步主键”,在源端为非主键表时,必须在字段映射阶段手动勾选主键。 表属性编辑:单击操作列“表属性编辑”可配置Hudi表属性,包含表类型,分区类型及表自定义属性。
“Hudi全局配置”优先级低于单表“表属性编辑”中的配置,存在相同配置项时会被覆盖。 源表与目标表映射: 图3 配置源表与目标表映射 Hudi表必须设置“同步主键”,在源端为非主键表时,必须在字段映射阶段手动勾选主键。 表属性编辑:单击操作列“表属性编辑”可配置Hudi表属性,包含表类型,分区类型及表自定义属性。
根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DataArts Studio资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DataArts Studio资源委托给更专业、高效的其他华为账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
cleanOverdueDays 否 Int 设置作业的最大超时时间。 cleanWaitingJob 否 String 清除等待的作业。 emptyRunningJob 否 String 取值为0和1,1表示空跑,0表示:取消空跑,不设置该参数时,默认为0。 processType
MRS ClickHouse连接参数说明 连接MRS ClickHouse时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。
个映射。在每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。在该映射的“源表”中,您可以将多个表设置Join,然后再为表中的字段设置源字段。 本示例只需要新建一个映射。单击“新建”,新建一个映射,如图30。
”。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String
时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 toJobConfig.quoteChar
密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 String ak = System.getenv("SDK_AK");
在“空间权限集”页面单击“新建”,创建权限集。 图1 创建空间权限集 新建空间权限集配置请参考表1,参数配置完成单击“确定”即可。 表1 新建空间权限集参数设置 参数名 参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *管理员 选择管理员。