检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM可以实现在同构、异构数据源之间进行表/文件级别以及整库的数据迁移，支持配置作业定时任务及抽取并发数、作业定时备份/恢复、配置作业环境变量、作业批量导入/导出等功能。 新建表/文件迁移作业 新建整库迁移作业 配置作业源端参数 配置作业目的端参数 作业配置管理 批量管理作业 已发布区域：全部 API 您可
已创建的MRS集群，CDM会自动填充下面的鉴权参数。 用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS Manager的用户密码。 认证类型：访问MRS的认证类型。
重启CDM集群 操作场景 在进行某些配置修改（如关闭用户隔离等）后，需要重启集群才能生效。此时您需要进行集群重启操作。 重启CDM集群进程或集群VM都会导致正在运行的作业失败，重启期间也无法调度新的作业，请谨慎操作！ 前提条件 已创建CDM集群。 重启集群 登录CDM管理控制台。
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
图4 创建作业 作业名称：用户自定义作业名称。 源端作业配置： 源连接名称：选择5创建的HDFS连接“hdfs_link”。 源目录或文件：配置为H公司贸易数据在本地的存储路径，可以是一个目录，也可以是单独一个文件。这里配置为目录，CDM会迁移整个目录下的文件到OBS。 文件格式
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
使用Agent Agent功能待下线，无需配置。 - local_infile字符集 mysql通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线，无需配置。 - 单次请求行数 指定每次请求获取的行数。
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
执行启动作业/重启集群等操作时，报错当前策略不允许执行，如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。 解决方案 如果是作为DataArts Studio服务CDM组件使用： 检查用户是否添加DAYU Administrator或DAYU
Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题： 故障处理类
除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。 作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。 解决方案 查看Yarn任务，搜索Spark
（可选）在标签列表中，单击标签操作列“删除”，删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所配置标签的资源。 在集群列表中，单击标签搜索，筛选出所配置标签的资源。 父主题： 创建并管理CDM集群
连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表，格式如：“host1:port1;host2:port2”。
是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图7 任务配置 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 作业执
选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”，配置连接参数： 名称：用户自定义连接名称，例如：“rds_link”。 数据库服务器、端口：配置为RDS上MySQL数据库的连接地址、端口。 数据库名称：配置为RDS上MySQL数据库的名称。 用户名、密码：登录数据库的用户和密码。
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置
义，导致目的端显示带有转义符号。 DLI外表及OBS桶存储，及文件到表迁移，可以考虑源端作业配置加上包围符号即可，包围符双引号“，单个双引号。 解决方案 在OBS作业源端参数配置中，配置开启使用包围符号，单个双引号“，开启使用包围符，选择“是”即可。 父主题： 故障处理类
CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业，配合For
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
