检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询作业状态 功能介绍 查询作业状态接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id
CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAUL
查询集群的企业项目ID 功能介绍 查询指定集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述
查询作业执行历史 功能介绍 查询作业执行历史接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/submissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
eleport设备或硬盘(外置USB接口、SATA接口、SAS接口类型)向华为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别 表1 各个数据迁移服务区别 服务名 主要功能 与其他服务的区别 云数据迁移CDM 大数据迁移上云
CloudTable连接 介绍 通过CloudTable连接,可以对CloudTable服务抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 {
待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 "
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
作业任务参数说明 在指定集群创建作业或者随机集群创建作业并执行时,由“driver-config-values”参数指定作业任务配置,包含如下功能: 作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。
定时备份 在CDM作业管理界面,单击“配置管理”页签,配置定时备份的参数。 表2 定时备份参数 参数 说明 配置样例 定时备份 自动备份功能的开关,该功能只备份作业,不会备份连接。 开 备份策略 所有作业:不管作业处于什么状态,CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。
待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 '
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 问题描述 创建Mysql链接,确认过用户名、密码没有错,同样的配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接。
Hive连接 介绍 通过Hive连接,可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 { "links":
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive
全。 数据销毁机制 用户删除CDM集群后,存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填写的手机号、邮箱,并关闭消息通知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云CDM的API调用都支持
待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端
Boolean 从Oracle导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“fromJobConfig.partitionList”参数指定具体的Oracle表分区,该功能不支持非分区表。 fromJobConfig.partitionList 否 String
如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,
状态码 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于“获取用户Token”接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 表1
拥有Oracle数据库的读取权限的用户。 admin 密码 Oracle数据库的登录密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - ORACLE版本 默认使用最新版本驱动,若不兼容请尝试其他版本。 高于12.1 驱动版本 需要适配的驱动。