检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版本ID,获取方法请参见CDM支持的版本。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间
源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user String 创建作业的用户。由系统生成,用户无需填写。 creation-date Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。
Long 写入的字节数。 TOTAL_FILES Integer 总文件数。 ROWS_READ Long 读取的行数。 BYTES_READ Long 读取的字节数。 ROWS_WRITTEN Long 写入的行数。 FILES_WRITTEN Integer 写入的文件数。 FILES_READ
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK。 400 请求错误。 401 鉴权失败。 403
项目ID可以通过调用查询指定条件下的项目信息API获取,接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可参考IAM文档获取。 接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID
objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-val
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK。 错误码 请参见错误码。 父主题: 作业管理
0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts
可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require
是否支持批量创建作业? 问题描述 CDM是否支持批量创建作业? 解决方案 CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 手动创建一个作业。 导出作业,将作业的JSON文件保存到本地。 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群,实现批量创建作业。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 请求成功。 400 请求错误。 401 鉴权失败。 403
已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称
待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。如果您为删除的CDM集
本章节介绍云数据迁移(Cloud Data Migration,以下简称CDM)的基础使用方法,通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作,帮助您了解、熟悉CDM服务,具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下: 创建CDM集群 创建连接 创建并执行作业
Elasticsearch连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。
异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时,目的端数据源选择HDFS、文