-
删除连接 - 云数据迁移 CDM
DELETE /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/link/jdbclink 响应示例 状态码: 500 服务内部错误,具体返回错误码请参考错误码
-
功能类 - 云数据迁移 CDM
是否支持批量调度作业? 如何备份CDM作业? 如果HANA集群只有部分节点和CDM集群网络互通,应该如何配置连接? 如何使用Java调用CDM的Rest API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通? CDM是否支持参数或者变量? CDM迁移作业的抽取并发数应该如何设置?
-
迁移准备 - 云数据迁移 CDM
校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/device
-
停止作业 - 云数据迁移 CDM
status String ERROR,WARNING 枚举值: ERROR WARNING 请求示例 PUT /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job/jdbc2hive/stop
-
Hive迁移作业长时间卡顿怎么办? - 云数据迁移 CDM
Hive迁移作业长时间卡顿怎么办? 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m 如图所示: 父主题: 故障处理类
-
查询作业状态 - 云数据迁移 CDM
Integer 跳过的文件数 ROWS_WRITTEN_SKIPPED Long 跳过的行数 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/
-
启动集群 - 云数据迁移 CDM
参数类型 描述 jobId Array of strings 作业ID 请求示例 启动集群 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/bae65496-643e-47ca-84af-948672de7eeb/action
-
SDK概述 - 云数据迁移 CDM
SDK概述 云数据迁移服务软件开发工具包(CDM SDK,Cloud Data Migration Service Software Development Kit)是对CDM服务提供的REST API进行的封装,以简化开发者的开发工作。通过调用此SDK包提供的代码样例,即可通过API接口对CDM进行相关操作。
-
查询作业 - 云数据迁移 CDM
扩展配置名称,暂不对外开放,用户无需填写。 value String 扩展配置值,暂不对外开放,用户无需填写。 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job/all
-
查询作业执行历史 - 云数据迁移 CDM
Integer 跳过的文件数 ROWS_WRITTEN_SKIPPED Long 跳过的行数 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/submissions
-
启动作业 - 云数据迁移 CDM
isDeleteJob Boolean 作业执行完成后是否删除 请求示例 启动作业,参数为空。 PUT /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job/jdbc2hive/start
-
修改连接 - 云数据迁移 CDM
枚举值: ERROR WARNING 请求示例 修改一个名为mysql_link的数据连接。 PUT /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/link/rdb_link
-
创建连接 - 云数据迁移 CDM
枚举值: ERROR WARNING 请求示例 创建一个名为mysql_link的数据连接。 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/link
-
目的端为HBase/CloudTable - 云数据迁移 CDM
列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 toJobConfig.rowKeyColumn 是 String 作为rowkey的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 toJobConfig.isOverride
-
指定集群创建作业 - 云数据迁移 CDM
创建一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的数据迁移作业。 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job
-
修改作业 - 云数据迁移 CDM
修改一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的表数据迁移作业。 PUT /v1.1/1551c7f6c808414d8e9f3c514a170f2e/cluster/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job/es_css
-
性能调优 - 云数据迁移 CDM
规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数,详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。
-
随机集群创建作业并执行 - 云数据迁移 CDM
"b0791496-e111-4e75-b7ca-9277aeab9297", "c2db1191-eb6c-464a-a0d3-b434e6c6df26", "c2db1191-eb6c-464a-a0d3-b434e6c6df26" ] } 响应示例 状态码: 200 ok { "submissions"
-
步骤2:创建连接 - 云数据迁移 CDM
创建DWS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图4所示。 图4 选择连接器类型 连接器类型选择“数据仓库服务(DWS)”后单击“下一步”配置DWS连接参数。 图5 创建DWS连接 单击“显示高级属性”可查看更多
-
配置云数据库MySQL/MySQL数据库连接 - 云数据迁移 CDM
可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 是 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTimeout=600000与socketTimeout=3000