检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其中“Pending”表示正在等待系统调度该作业，“Booting”表示正在分析待迁移的数据。 单击作业后面的“历史记录”，可查看作业的写入行数、读取行数、写入字节或写入文件数。 图2 查看历史记录 在历史记录界面，再单击“日志”可查看作业执行的日志信息。 也可以在作业列表界面，选择“更多
key前缀，对应关系表的表名。 Redis和关系表的映射：用关系表的“表名+分隔符”来对应Redis的Key；关系表的一行数据对应Redis的Value。 fromJobConfig.keySeparator 是 String key分隔符，一般用来分割关系表和主键。 fromJobConfig
使用SQL语句：否。 模式或表空间：待抽取数据的模式或表空间名称。 表名：要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建DWS连接中的连接“dwslink”。 模式或表空间：选择待写入数据的DWS数据库。 自动创表：只有当源端和目的端都为关系数据库时，才有该参数。
使用SQL语句：否。 模式或表空间：待抽取数据的模式或表空间名称。 表名：要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建DWS连接中的连接“dwslink”。 模式或表空间：选择待写入数据的DWS数据库。 自动创表：只有当源端和目的端都为关系数据库时，才有该参数。
CDM是否支持参数或者变量？ 问题描述 CDM是否支持参数或者变量？ 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 功能类
作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参
移量”。 说明： 表名支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有表（要求表中的字段个数和类型都一样）。例如： table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串，就全部导出。
CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决？ 问题描述 在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式，但是没有生效。 解决方案
从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。 表1 MongoDB/DDS作为源端时的作业参数 参数类型
ERROR: relation "表名" does not exist。 怀疑是CDM 集群开启沙箱所导致的，后端对集群取消沙箱，重启CDM 集群后问题依然存在。 查看CDM迁移作业，源端数据库表名全部为小写，但是迁移的表中是包含有大写字母，将所要迁移的表名跟数据库中保持一致，目的端字段就可以映射出来了，问题解决。
对于需要事务模式迁移的用户，可以配置“先导入到阶段表”参数，实现迁移失败时数据回滚。 极端情况下，可能存在创建的阶段表或临时表无法自动删除，也需要用户手工清理（阶段表的表名以“_cdm_stage”结尾，例如：cdmtet_cdm_stage）。 CDM访问用户本地数据中心数据源
当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？ 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息
限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。
lang.IllegalArgumentException。 原因分析 表在metastore中存在，但不是Huid表，或者表在metastore中存在，但是表目录不存在，根因是在表目录下没有.hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值，写入hoodie会失败。
的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？ 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？ 创
String 请求语言。 表3 请求Body参数 参数 是否必选 参数类型 描述 jobs 是 Array of Job objects 作业列表，请参见jobs数据结构说明。 clusters 是 Array of strings CDM集群ID列表，系统会从里面随机选择一个开
调整作业配置。 如作业配置了分片数，或者源端为分区表，且作业配置了按表分区抽取，则单击更多-分片重试，重跑失败分片（比如配置了100个分片，上次执行到50个分片报错，则单击失败重试后，仅会执行剩余50个分片）。 如且源端非分区表，作业未配置分片数，建议调大作业分片数，再重新执行作
作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？ 是Oracle的约束限制导致，迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION，同时调整UNDO表空间大小即可。 父主题： 故障处理类
读Hudi作业字段映射多了一列col，作业执行失败。 原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。 解决方案 字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。 父主题： 故障处理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
