检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 MySQL
连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表，格式如：“host1:port1;host2:port2”。
CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业，配合For
（可选）在标签列表中，单击标签操作列“删除”，删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所配置标签的资源。 在集群列表中，单击标签搜索，筛选出所配置标签的资源。 父主题： 创建并管理CDM集群
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置
义，导致目的端显示带有转义符号。 DLI外表及OBS桶存储，及文件到表迁移，可以考虑源端作业配置加上包围符号即可，包围符双引号“，单个双引号。 解决方案 在OBS作业源端参数配置中，配置开启使用包围符号，单个双引号“，开启使用包围符，选择“是”即可。 父主题： 故障处理类
403”考虑是Hive同步表到OBS目录报错。用户配置连接器时候，没有打开OBS开关。 检查连接器配置，发现没有打开开关，参数含义是“是否支持OBS存储，如果Hive表数据存储在OBS，需要打开此开关”。 解决方案 修改连接配置，打开Hive连接中的OBS开关，重新输入密码。 父主题：
后台排查sqoop日志，考虑源端数据类型格式问题导致异常。 分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。 客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
执行启动作业/重启集群等操作时，报错当前策略不允许执行，如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。 解决方案 如果是作为DataArts Studio服务CDM组件使用： 检查用户是否添加DAYU Administrator或DAYU
Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题： 故障处理类
除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。 作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。 解决方案 查看Yarn任务，搜索Spark
否 String 路径过滤器，过滤类型为通配符时配置，用于过滤文件目录，例如：“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器，过滤类型为通配符时配置，用于过滤目录下的文件，支持配置多个文件，中间使用“,”分隔，例如：“*.csv
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台，统一管理、部署硬件资源和通用类软件资源，实现IT应用全面服务化、云化，CDM（Cloud Data Migration，简称CDM）助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错 问题描述 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。 故障分析 查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后，CTS开始记录操作事件用于审计，用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到CTS的实时监控列表中
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
否 String 路径过滤器，过滤类型为通配符时配置，用于过滤文件目录，例如：“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器，过滤类型为通配符时配置，用于过滤目录下的文件，支持配置多个文件，中间使用“,”分隔，例如：“*.csv
hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值，写入hoodie会失败。 查看作业配置，查看表属性中hoodie.datasource.write.recordkey.field、hoodie.datasource.write
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
