检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Data Migration，以下简称CDM）的基础使用方法，通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务，具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下： 创建CDM集群 创建连接 创建并执行作业
NoSQL：表格存储服务（CloudTable） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch，云搜索服务（CSS） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS）
作业管理页面访问不了，提示“网络或服务器异常，请重试”的报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常：如磁盘、内存、CPU。 如果CDM集群以上指标都正常，用户侧清理浏览器缓存之后重新单击作业管理即可。 父主题： 故障处理类
cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址，且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户
下方式优化作业迁移速度： 使用大规格CDM集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求，或当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行，建议您选用大规格的CDM集群规格进行数据迁移。 使用多个CDM集群
DM上创建MySQL连接时输入这个地址和端口）。 映射地址、映射端口：配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”，添加端口映射关系。 单击“开始映射”，这时才会真正开始映射，接收数据包。 至此，就可以在CDM上通过弹性IP读取本地内网MySQL的数据，然后导入到云服务DWS中。
properties文件中分区信息不一致时，会导致数据写入失败怎么解决？ 当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？ RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常 通过json方式导入的作业，sql
服务。 目前支持的数据库链路有： 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS Oracle->RDS for MySQL ...... DRS与CDM的区别： DR
CDM支持从关系型数据库服务（Relational Database Service，简称RDS）导入、导出数据，包括云数据库 MySQL、云数据库 PostgreSQL、云数据库 SQL Server。 文档数据库服务 CDM支持从文档数据库服务（Document Database Service，简称D
DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 选择源连接名称为分库连接对应的后端连接时，此作业即为普通的MySQL作业。 新建源端为分库连接的作业时，在字段映射阶段，可以在源字段新增样值为“${custom(host)}”样式的自定义字段，用于在多个
scale。源端p > 38位时，Hive按38位创建，s小于0时，按0创建，受Hive数据类型限制，此场景可能会导致数据写入后精度丢失。 表1 MySQL->Hive自动建表时的字段映射 数据类型（MySQL） 数据类型（Hive） 说明 数值类型 tinyint(1)，bit(1) BOOLEAN
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
产品介绍 什么是云数据迁移 产品优势 迁移原理 支持的数据源 03 入门 介绍云数据迁移（Cloud Data Migration，以下简称CDM）的基础使用方法，通过使用CDM迁移本地MySQL数据库中的表，写入到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务。 登录云服务器
发数已到达集群上限。 集群内存使用达到阈值 联系SRE查看cdm后台日志：/var/log/cdm/local/framework.log，搜索关键字：memory usage exceeds threshold，如果此时集群在不断打此日志，则说明堆内存使用已经超过75%，集群可能有oom的风险。
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
用户监控账号下的CDM集群，执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息 关于CDM支持的监控指标，以及如何创建监控告警规则等内容，请参见查看监控指标。 父主题： 安全
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
datasource.write.partitionpath.field配置的列在源端数据中是否存在空值。 可能数据倾斜导致executor使用内存超出限制，具体原因需要联系MRS定位。Yarn Application ID可以从日志中获取，日志搜索“Yarn Application Id”关键字，查询离报错信息最近的Yarn
执行Analyze语句可能会对Hive造成压力。 是 内部写队列内存最大值 当出现内存不足场景时，请酌情修改该参数，当参数过小时，会影响迁移速率。 取值范围是1-128，默认为空，不做限制，单位为MB，超出范围会设置为不限制。 16 内部转换队列内存最大值 当出现内存不足场景时，请酌情修改该参数，当参数过小时，会影响迁移速率。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
