检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM迁移DWS数据报错Read timedout怎么处理? 问题描述 客户使用cdm迁移DWS A集群表数据到DWS B集群,成功写入部分后报错: org.postgresql.util.PSQLException: Database connection failed when
迁移数据到DLI时有数据丢失怎么处理? 问题描述 目的端是DLI的迁移作业执行成功后,显示迁移的数据条数和DLI表中查询的数量对不上,存在数据丢失。 原因分析 查看客户的作业配置,客户并发数设置的是3,如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1
08:08:08.666 +0800”。 图2 作业配置 此时,从其他数据源导入数据到云搜索服务时,如果源端数据中的日期格式不完全满足标准格式,例如“2018/01/05 15:15:46”,则CDM作业会执行失败,日志提示无法解析日期格式。需要通过CDM配置字段转换器,将日期字段的格式转换为云搜索服务的目的端格式。
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
MySQL迁移时报错“JDBC连接超时”怎么办? 问题描述 MySQL迁移时报错:Unable to connect to the database server. Cause: connect timed out. 原因分析 这种情况是由于表数据量较大,并且源端通过where语
concurrentSubJobs参数(并发子作业数,新集群已取消这个配置项)。 让客户在导出的json 文件中将删除以下配置项,重新导入作业到新集群,导入成功。 { "name":"throttlingConfig.concurrentSubJobs", "value":"10" }
作业配置表不存在时自动创建,目的端字段映射不出来怎么处理? 问题描述 迁移SQL Server数据到DWS,目的端配置了当表不存在时自动创建,目的端字段映射不出来 ,如下图所示。 原因分析 查看后端日志报:org.postgresql.util.PSQLException: ERROR:
字段映射界面无法显示所有列怎么处理? 问题描述 在使用CDM从HBase/CloudTable导出数据时,在字段映射界面HBase/CloudTable表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无
读Hudi作业长时间出于BOOTING状态怎么解决? 问题原因1:除去Yarn队列资源问题,一般作业是卡在执行Spark SQL读Hudi写Hive临时表,这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。 问题排查1:查看Yarn任务,搜索Spark JDBC Se
迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理? 问题描述 MySql-TO-DLI迁移报错,java.lang.NumberFormatException:For input string:"false"。 故障分析 根据报错分析
的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业,目的端作业配置下“自动创表”选择“不存在时创建”,则高级属性下面会出现参数“扩大字符字段长度”,配置该参数为“是”即可,如图2所示。 图2 扩大字符字段长度 父主题: 故障处理类
创建FusionInsight HDFS连接报错get filesystem怎么解决? 问题描述 创建FusionInsight HDFS数据连接时,测试连通性提示获取文件系统失败的问题。 解决方案 客户使用的管理ip有误,正确的ip使用的是集群的一个浮动ip,端口使用HDFS的webui的端口即可解决。
根据分析,考虑是Mysql配置“max_allowed_packet”参数太小导致报错,参考以下链接排查,发现Mysql已经设置最大为1G,无法再增大。 据以上分析,发现未能解决,再次回顾排查过程,发现遗漏一点关键点,客户连接器参数配置,“一次请求行数”配置“3000”,可能会导致某批次查询数据超过1G,故而报错。
迁移HDFS文件,报错无法获取块怎么处理? 问题描述 用户HDFS为线下自建的,往OBS迁移文件建立好连接器后,测试源端和目的端的连通性都是没问题的。 任务启动时报如下错误: Error: java.io.IOException: org.apache.hadoop.hdfs.B
Hive迁移作业长时间卡顿怎么办? 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m 如图所示: 父主题: 故障处理类
执行Spark SQL写入Hudi失败怎么办? 报错:hoodie table path not found 原因分析 表在metastore中存在,但不是Huid表,或者表在metastore中存在,但是表目录不存在,根因是在表目录下没有.hoodie目录。可能删表的时候只删了文件而没有drop
当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 问题描述 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 解决方案 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决? 新建MRS Hive连接时,提示无法下载配置文件,实际是用户权限不足。建议您新建一个业务用户,给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接,
读Hudi作业字段映射多了一列col,作业执行失败怎么处理? 问题原因:使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。 解决方案:字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。