检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移前后数据量不一致是什么问题？ 问题描述 使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。 故障分析 根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。 解决方案
RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常 问题描述 使用开源Mysql驱动连接RDS-Mysql，date范围小于1000-01-0的情况下，date数据转换异常。 图1 源端data的数据 图2 目的端data的数据 故障分析
当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？ 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息。
在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。
在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。
MySQL实例，且所在的区域、VPC、子网、安全组与CDM集群一致，如果有企业项目也必须一致。 已创建DWS集群，且所在的区域、VPC、子网、安全组与CDM集群一致，如果有企业项目也必须一致。 如果RDS for MySQL实例或DWS集群所在的区域、VPC、子网、安全组与CDM集群不一致，则需要通过网络配置
表1 CDM集群参数 参数名称 样例 说明 当前区域 华北-北京一 选择CDM集群的区域，不同区域的资源之间内网不互通。 可用区 可用区2 请参见什么是可用区。 集群名称 cdm-aff1 自定义CDM集群名称。 说明： CDM集群创建后，不支持修改集群名称。 实例类型 cdm.large
每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 Apache HDFS 连接Apache Hadoop上的HDFS数据源时，相关参数如表3所示。 表3 Apache HDFS连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源
属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 Apache HBase 连接Apache Hadoop上的HBase数据源时，相关参数如表3所示。 表3 Apache HBase连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据
encryption”（加密方式）选择“AES-256-GCM”时有该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 toJobConfig.iv 否 String 初始化向量，“toJobConfig
properties文件中分区信息不一致时，会导致数据写入失败怎么解决？ 当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？ RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常 通过json方式导入的作业，sql
“加密方式”选择“AES-256-GCM”时显示该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC
如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该
数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。
OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hado
作业中目的连接为Hive连接时，目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
约束冲突处理配置为"insert into"，默认使用IGNORE，与唯一键值上的现有行重复的新行将被丢弃，任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输，此情况下，CDM界面显示写入记录与实际更新行数会不一致。 Mysql Local模式详情请参见：https://dev
的源端、目的端情况与PostgreSQL数据源一致。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 PostgreSQL/SQLServer连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类
组成，且必须与加密时配置的“toJobConfig.dek”（导入时配置的数据加密密钥）一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 fromJobConfig.iv 否 String 解密需要的初始化向量，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“toJobConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
