检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持整库迁移的数据源请参见支持的数据源。 约束限制 配置源端和目的端参数时，字段名不可包含&和%。 前提条件 已新建连接，详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 选择“整库迁移
connectTimeout=60与socketTimeout=300：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位s），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数
操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。 前提条件
MRS集群和CDM集群之间网络互通，网络互通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组
MRS集群和CDM集群之间网络互通，网络互通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组
DM集群与待连接的数据源能正常通信。用户可以根据CDM迁移的数据源端、目的端所处网络进行选择： 如果CDM集群与待连接的数据源所属不同的VPC，或者待连接的为本地数据源时，CDM集群需要绑定EIP，通过公网通信。 如果待连接的数据源为云上服务，则推荐CDM集群的网络配置与该云服务
MySQL实例，且所在的区域、VPC、子网、安全组与CDM集群一致，如果有企业项目也必须一致。 已创建DWS集群，且所在的区域、VPC、子网、安全组与CDM集群一致，如果有企业项目也必须一致。 如果RDS for MySQL实例或DWS集群所在的区域、VPC、子网、安全组与CDM集群不一致，则需要通过
SDK概述 云数据迁移服务软件开发工具包（CDM SDK，Cloud Data Migration Service Software Development Kit）是对CDM服务提供的REST API进行的封装，以简化开发者的开发工作。通过调用此SDK包提供的代码样例，即可通过API接口对CDM进行相关操作。
配置。 常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 useCurso
connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 sslmode=require 父主题： 配置连接参数
《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全
String 需要抽取数据的列，列号之间使用“&”分割，列族与列之间用“:”分隔，例如：“cf1:c1&cf2:c2”。 toJobConfig.rowKeyColumn 是 String 作为rowkey的列，列号之间使用“&”分割，列族与列之间用“:”分隔，例如：“cf1:c1&cf2:c2”。
”进行编辑。 图3 连接 打开高级属性，在“连接属性”中建议新增“connectTimeout”与“socketTimeout”参数及参数值，单击“保存”。 图4 编辑高级属性 父主题： 故障处理类
说明： REPLACE 和 IGNORE 修饰符用于处理与现有行具有相同唯一键值（PRIMARY KEY或UNIQUE索引值）的新输入的行。 约束冲突处理配置为"replace into"或"local"，使用REPLACE，与现有行中的唯一键值具有相同值的新行将替换现有行。 约束冲突处理配置为"insert
设置CDM告警规则 操作场景 通过设置CDM集群告警规则，用户可自定义监控目标与通知策略，及时了解CDM集群运行状况，从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考
账号具备所有接口的调用权限，如果使用账号下的IAM用户发起API请求时，该IAM用户必须具备调用该接口所需的权限，否则，API请求将调用失败。每个接口所需要的权限，与各个接口所对应的授权项相对应，只有发起请求的用户被授予授权项所对应的策略，该用户才能成功调用该接口。例如，用户要调用接口来查询集群列表，那么
配置。 常见配置举例如下： connectTimeout=600000与socketTimeout=300000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 sslmode=require
ApplicationId到MRS Resource Manager上看Yarn任务详情。 执行Spark SQL的速度与租户队列资源强相关，在执行Hudi任务前，请确保租户队列资源充足。 父主题： 故障处理类
OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。 优点：传输可靠性高，受专线以及网络质量影响较小。 缺点：迁移方式耗时较长。 父主题： 车联网大数据零丢失搬迁入湖
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
