-
迁移到DWS时出现value too long for type character varying怎么处理? - 云数据迁移 CDM
字节超过DWS的varchar的长度时,就会出现错误:value too long for type character varying。 解决方法 这个问题,可以通过将目的端作业参数“扩大字符字段长度”选择“是”来解决,选择此选项后,再创建目的表时会自动将varchar类型的字段长度扩大3倍。
-
错误码 - 云数据迁移 CDM
人员协助解决。 Cdm.0236 400 从分区程序中检索到无效分区数。 从分区程序中检索到无效分区数。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0238 400 %s不能为空。 参数不合法。 请根据错误提示将参数修改正确后再重试。 Cdm
-
通过json方式导入的作业,sql server迁移到hive,执行作业报错 - 云数据迁移 CDM
通过json方式导入的作业,sql server迁移到hive,执行作业报错 问题描述 客户通过json的方式导入作业,从sql server迁移数据到hive,执行作业报:操作数数据类型bit 对min 运算无效。 图1 报错信息 故障分析 客户作业中配置的并发数大于1,CDM
-
Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决? - 云数据迁移 CDM
Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决? 问题描述 导入了4000W数据,快执行完时报如下错误。 故障分析 结合报错,考虑是DLI目的端写入问题。但因日志截图不全,进入CDM集群,查看客户作业日志。
-
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决? - 云数据迁移 CDM
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决? 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败. 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息 call
-
CDM集群Hive连接无法查询库和表的内容 - 云数据迁移 CDM
问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive SDK无法识别Hive数据源,
-
作业从旧集群导出,再导入到新的集群失败怎么解决? - 云数据迁移 CDM
文件中将删除以下配置项,重新导入作业到新集群,导入成功。 { "name":"throttlingConfig.concurrentSubJobs", "value":"10" }, 解决方案 将导出的作业json文件中 "name":"throttlingConfig.concurrentSubJobs" 配置项删除后重新导入作业json即可。
-
CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决? - 云数据迁移 CDM
defaultIfEmpty不生效怎么解决? 问题描述 在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式,但是没有生效。 解决方案 客户侧的null是null字符串,而
-
写ES报timeout waiting for connection from pool错误怎么解决? - 云数据迁移 CDM
connection from pool错误怎么解决? 问题描述 写ES报timeout waiting for connection from pool,且日志中输出多个es_rejected_execution_exception。 故障分析 从cerebro界面看到索引只有一个分片。但
-
读Hudi作业长时间出于BOOTING状态怎么解决? - 云数据迁移 CDM
读Hudi作业长时间出于BOOTING状态怎么解决? 问题原因1:除去Yarn队列资源问题,一般作业是卡在执行Spark SQL读Hudi写Hive临时表,这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。 问题排查1:查看Yarn任务,搜索Spark JDBC Server的Yarn任务,找到自己队列下Running
-
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? - 云数据迁移 CDM
出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标表类型不匹配导致,例如源端dli字段为string类型,目标端dws字段为varchar(50)类型,导致精度缺省,就会报:value too long
-
新建MRS Hive连接时,提示:CORE - 云数据迁移 CDM
0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_admin
-
创建FusionInsight HDFS连接报错get filesystem怎么解决? - 云数据迁移 CDM
HDFS连接报错get filesystem怎么解决? 问题描述 创建FusionInsight HDFS数据连接时,测试连通性提示获取文件系统失败的问题。 解决方案 客户使用的管理ip有误,正确的ip使用的是集群的一个浮动ip,端口使用HDFS的webui的端口即可解决。 父主题: 故障处理类
-
启动作业后,Hudi作业长时间处于BOOTING状态,然后作业失败,日志报错Read Timeout怎么解决? - 云数据迁移 CDM
out的错(甚至可能数据库都list不出来)。如果有以上现象,大概率是MRS集群的jdbc server出了问题。 单租户执行不了spark sql,则多半是队列资源限制,打开yarn,搜索租户的队列,查看Spark2x-JDBCServer2x的yarn任务,此时可能会搜索不到yarn任务,或者State
-
作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? - 云数据迁移 CDM
SQL过程中,需要等Spark SQL执行完作业才会结束。 问题排查 打开日志,搜索insert into,找到如下的日志,根据日志中打印的Yarn ApplicationId到MRS Resource Manager上看Yarn任务详情。 执行Spark SQL的速度与租户队列资源强相关,在
-
目的端为Elasticsearch/云搜索服务 - 云数据迁移 CDM
引: EveryHour:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”。 EveryDay:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”。 EveryWeek:
-
状态码 - 云数据迁移 CDM
表明请求超出了客户端访问频率的限制或者服务端接收到多于它能处理的请求。建议客户端读取相应的Retry-After首部,然后等待该首部指出的时间后再重试。 500 InternalServerError 表明服务端能被请求访问到,但是不能理解用户的请求。 501 Not Implemented
-
FTP测试连通性失败,报服务器内部错误怎么解决? - 云数据迁移 CDM
FTP测试连通性失败,报服务器内部错误怎么解决? 问题描述 ECS搭建FTP已经尝试root 、FTPadmin用户在本地都可以正常登录,安全组21、20端口正常放通,但是在创建FTP的数据连接报服务器内部错误。 解决方案 查询后台日志,报错为连接超时,截图如下,可能是安全组限制
-
审计与日志 - 云数据迁移 CDM
审计与日志 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操
-
故障处理类 - 云数据迁移 CDM
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理? 迁移MySql到DLI字段类型转换报错For