Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办? 问题描述 报错:hoodie table path not found。 报错:写入记录中存在空值,写入失败。 报错:killed by external signal。 报错:java.lang.IllegalArgumentException
CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? 问题描述 作业管理页面访问不了,提示“网络或服务器异常,请重试”的报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常:如磁盘、内存、CPU。 如果CDM集群以上指标都正常,用户侧清理浏览器缓存之后重新单击作业管理即可
迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理? 问题描述 MySql-TO-DLI迁移报错,java.lang.NumberFormatException:For input string:"false"。 故障分析 根据报错分析,
已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 请您先确认套餐包和实际的CDM集群是否具有相同区域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群具有相同区域和规格
配置MRS ClickHouse目的端参数 作业中目的连接为MRS ClickHouse连接时,目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设置为
图1 报错信息 故障分析 客户作业中配置的并发数大于1,CDM会选择分区列进行分区迁移,默认情况:取主键字段,如果没有主键字段取的是从元数据里面的第一个字段作为分区字段。
新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决? 问题描述 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时
作业源端是Oracle时,运行时间过长报snapshot too old怎么解决? 是Oracle的约束限制导致,迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION,同时调整UNDO表空间大小即可。 父主题: 故障处理类
当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 问题描述 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 解决方案 当MySQL、Oracle、PostgreSQL
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 问题描述 用户使用CDM服务,从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。 故障分析 排查客户CDM
CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决? 问题描述 在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式,但是没有生效。 解决方案
Hudi目的端的作业自动建表报错:schema不匹配,建表失败怎么办? 问题描述 cdm迁移数据到hudi,hudi选择自动建表,执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in
报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks
Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理? 问题描述 读Hudi作业字段映射多了一列col,作业执行失败。 原因分析 使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col
Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? 问题描述 CDM写Hudi为两段式,先写到hive临时表,然后再执行spark sql写到Hudi,写入行数统计的是写hive临时表的行数,当行数不再增长时,说明源端数据已经读完写到Hive表中,此时作业正在执行
Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理? 问题描述 作业执行过程中,由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。 问题分析 日志中出现源端的read timeout报错,或者terminate by xxx之类的报错
您即将访问非华为云网站,请注意账号财产安全