检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您需要再创建新的CDM集群，请参考购买批量数据迁移增量包章节，完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致，同时也要与云专线连通的VPC的一致。 其它参数可以自定义，或者保持默认。 创建CDH HDFS连接：
ID）/SK（Secret Access Key）加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。 Token认证 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。
CDM提供基于云监控服务CES的资源监控能力，帮助用户监控账号下的CDM集群，执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息 关于CDM支持的监控指标，以及如何创建监控告警规则等内容，请参见查看监控指标。
MySQL迁移时报错“JDBC连接超时”怎么办？ 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 报错“配置项[linkConfig
关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 父主题： 关键操作指导
值的时间，宽限期内客户可正常访问及使用云服务。 保留期：指宽限期到期后客户的包周期资源仍未续订或按需资源仍未缴清欠款，将进入保留期。保留期内客户不能访问及使用云服务，但对客户存储在云服务中的数据仍予以保留。 华为云宽限期和保留期时长设定请参考宽限期保留期。 父主题： 通用类
Migration，以下简称CDM）的基础使用方法，通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务，具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下： 创建CDM集群 创建连接 创建并执行作业 查看作业运行结果
FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password 是 String 登录用户的密码。 父主题： 连接参数说明
通过IAM，您可以在云账号中给员工创建IAM用户，并使用策略来控制其对云资源的访问范围。例如您的员工拥有CDM的使用权限，但是不希望其拥有删除CDM集群等高危操作的权限，那么您可以使用IAM为员工创建IAM用户，通过授予仅能使用CDM服务，但是不允许删除CDM集群的权限策略，实现控制其对CDM的使用范围。
HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移
表，或者表在metastore中存在，但是表目录不存在，根因是在表目录下没有.hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值，写入hoodie会失败。 查看作业配置，查看表属性中hoodie.datasource.write
TP： 1. 任何大于1024的端口到FTP服务器的21端口（客户端初始化的连接）。 2. FTP服务器的21端口到大于1024的端口（服务器响应客户端的控制端口）。 3. FTP服务器的20端口到大于1024的端口（服务器端初始化数据连接到客户端的数据端口）。 4. 大于102
参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型
选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL，则数据加密传输，安全性更高，但性能会下降。 linkConfig.user 否 String 开启Kafka SASL_SSL时显示该参数，表示连接DMS Kafka的用户名。 linkConfig
database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig.password 是 String 连接MongoDB服务器的密码。 父主题： 连接参数说明
入门实践 当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS
案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后，CTS开始记录操作事件用于审计，用户可查看CTS保存最近7天的审计日志。
String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码，使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址，格式为“ip:port”
Where子句 配置定时任务：重复周期为1天，每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种时间宏变量，结合CDM定时任务的重复周期：分钟、小时、天、周、月，可以实现自动导出任意指定日期内的数据。 父主题： 增量迁移原理介绍
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
