检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案： get_table_req。 解决方案 用户的MRS集群是1.8.1，CDM为2.6.0。 报错看CDM封装的Hive SDK无法识别Hive数据源， 但Hive连接器测试
0-01-0。使用开源Mysql驱动连接RDS-Mysql，在date范围小于1000-01-0的情况下，可能导致date数据转换异常。 解决方案 不使用该date数值的写入。 手动补充该date数值。 父主题： 故障处理类
动终止了连接导致作业执行失败。 问题分析 日志中出现源端的read timeout报错，或者terminate by xxx之类的报错。 解决方案 如果源端网络不稳定，可以使用分片重试能力多次执行作业，可能需要调整作业配置。 如作业配置了分片数，或者源端为分区表，且作业配置了按表
15:15:46”，则CDM作业会执行失败，日志提示无法解析日期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转
为分区字段。 由于客户作业中设置的并发数是8，程序选择IsDef作为分区字段，但是IsDef的类型是bit，不支持min运算所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可，参数："throttlingConfig.numExtractors"。 在作业配置界面，源端参数配置的高级属性中，给
Kafka，MRS Hudi数据源在创建连接时，单击“选择”选定MRS集群，Manager IP获取到IP如果长度校验不通过，如下图所示。 解决方法 单击服务列表，搜索“MRS”，进入MRS控制台。 单击集群名称进入“现有集群”页面，查询弹性ip，如下图所示。 通过弹性IP地址，登录MRS集群后台。
执行启动作业/重启集群等操作时，报错当前策略不允许执行，如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。 解决方案 如果是作为DataArts Studio服务CDM组件使用： 检查用户是否添加DAYU Administrator或DAYU User角色，参考DataArts
log，搜索关键字：memory usage exceeds threshold，如果此时集群在不断打此日志，则说明堆内存使用已经超过75%，集群可能有oom的风险。 解决方案 调整作业并发数，使其不超过集群并发数（建议集群并发数不超过46）。集群并发数即配置管理页面的最大抽取并发数。 父主题： 故障处理类
配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。 通过对比迁移失败的数据记录和成功的距离，怀疑是类型为boolean的字段导致的。 解决方案 将目标端boolean类型字段修改成string 后作业跑成功，因为客户源端boolean类型的字段有空值，从而导致迁移失败。 2.8
有打开OBS开关。 检查连接器配置，发现没有打开开关，参数含义是“是否支持OBS存储，如果Hive表数据存储在OBS，需要打开此开关”。 解决方案 修改连接配置，打开Hive连接中的OBS开关，重新输入密码。 父主题： 故障处理类
云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 产品首页
复执行，直到抽取到写入完成。因此可以添加高级属性：socketTimeout 参数，保证在每次抽取写入数据间隔，CDM一直保持正常会话。 解决方案 通过增大jdbc连接超时时间的控制，重新迁移作业。 通过作业配置中的源端和目标端连接名称，进入到cdm作业管理—>连接管理，找到该连接器名称。
添加字段，因为MongoDB是文档数据库，没有scheme概念。CDM字段映射取的是第一条的json key。CDM支持combine()函数，可以把非公共的列封装为一个列。 解决方案 使用MongoDB Reader插件读出数据时，combine()支持合并MongoDB document中的多个字段为一个JSON
255]，不支持负数，Mysql的TINYINT类型支持范围是[-128,127]。 SMALLINT支持负数，建议目的端建表使用SMALLINT类型。 解决方案 根据问题分析，客户映射字段为INT1就是DWS的TINYINT类型别名，映射是没问题的。 对于DWS来说，TINYINT类型，取值范围是
数据快递服务（Data Express Service，简称DES）是一种海量数据传输解决方案，支持TB到PB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口类型）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。
CDM迁移数据到DWS时如何选取分布列？ 问题描述 CDM迁移数据到DWS时如何选取分布列？ 解决方案 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。
云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 什么是云数据迁移
），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STAND
），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STAND
memory failed（RDD中缓存超过了executor的内存out of memory） 。 Hudi不支持并发写，会产生commit冲突。 解决方案 在DataArts Studio或者Hue或者spark-beeline上执行drop table将表从metastore中删除，然后作业配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
