检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何备份CDM作业? 问题描述 如何备份CDM作业? 解决方案 用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 功能类
MySQL迁移时报错“JDBC连接超时”怎么办? 问题描述 MySQL迁移时报错:Unable to connect to the database server. Cause: connect timed out. 原因分析 这种情况是由于表数据量较大,并且源端通过where语
数据迁移前后数据量不一致是什么问题? 问题描述 使用CDM进行数据迁移,迁移完成后,目标库数据要比原始库多,有的多十几条,有的多几千条。 故障分析 根据故障信息分析,考虑是作业配置限制,检查作业配置,发现目的端配置为导入开始前“不清除”,不清除可能存在多次操作,部分数据重复。 解决方案
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
迁移HDFS文件,报错无法获取块怎么处理? 问题描述 用户HDFS为线下自建的,往OBS迁移文件建立好连接器后,测试源端和目的端的连通性都是没问题的。 任务启动时报如下错误: Error: java.io.IOException: org.apache.hadoop.hdfs.B
large:大规格,8核CPU、16G内存的虚拟机,最大带宽/基准带宽为3/0.8 Gbps,集群作业并发数上限为16。 cdm.xlarge:超大规格,16核CPU、32G内存的虚拟机,最大带宽/基准带宽为10/4 Gbps,集群作业并发数上限为32,适合使用10GE高速带宽进行TB级以上的数据量迁移。 cdm
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于CDM而言,标签作用于其集群上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个
用户名、密码等配置信息。 一个连接被创建后可以被多个作业引用,且既可以作为源连接,也可以作为目的连接。 作业 作业是指用户创建的数据迁移任务,迁移特定数据源的数据到另一特定数据源。创建时需要指定源连接、目的连接、数据映射规则。 源端作业配置 在创建作业的过程中,由源连接指定抽取哪
直接使用已创建的集群ID。 如果您需要使用新的集群执行迁移任务,调用创建集群API创建。 创建连接 调用创建连接API创建MySQL连接和DWS连接。 创建迁移作业 调用指定集群创建作业API创建MySQL到DWS的迁移作业。 查看作业结果 调用启动作业API开始执行作业。 准备数据
DLI外表(OBS文件)迁移DWS某字段转义,带有“\” 问题描述 DLI 外表CDM服务将数据迁移到DWS(GaussDB)时候,有个字段迁移后多了一对引号,字段本身的引号多了转义符,其他字段没问题。 源端: 目的端: 故障分析 根据截图可以看出,源端样值中有符号:{ 括号 ”
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
large规格,8核CPU、16G内存的虚拟机。适合单张表规模≥1000万条的场景。 6ddb1072-c5d7-40e0-a874-8a032e81a698:表示cdm.xlarge规格,16核CPU、32G内存的虚拟机。需要10GE高速带宽进行TB以上的数据量迁移时使用。 type 是 String
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? Oracle迁移到DWS报错ORA-01555 MongoDB连接迁移失败时如何处理? Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hiv
MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS
修改连接的参数。 120次/min 删除连接 删除指定连接。 120次/min 作业管理API 指定集群创建作业 在指定的CDM集群上创建数据迁移任务,作业不会启动。 1200次/min 随机集群创建作业并执行 在指定的CDM集群列表中,随机选择一个开机状态的集群,在该集群中创建作业并执行作业。
MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS
调度CDM作业。 增量迁移 文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。
步骤2:创建连接 操作场景 迁移MySQL数据库到数据仓库服务DWS前,需要创建两个连接: MySQL连接:CDM连接RDS for MySQL实例。 DWS连接:CDM连接DWS集群。 前提条件 已拥有RDS for MySQL实例,已获取连接MySQL数据库的数据库名称、用户
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 香港、曼谷等其他地区和国家提供国际带宽,主要面向非中国大