检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Invoke DLI service api failed错误怎么解决? 问题描述 导入了4000W数据,快执行完时报如下错误。 故障分析 结合报错,考虑是DLI目的端写入问题。但因日志截图不全,进入CDM集群,查看客户作业日志。 根据分析步骤一报错,考虑是选错了队列类型,需要选
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办? 问题描述 CDM连接RDS-Mysql ,除root用户外,其他用户都报错。 解决方案 登录服务器,运行命令进入数据库:mysql -u root –p,然后输入密码。 执行:mysql>use mysql;
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? 问题描述 使用CDM从OBS导入数据到SQL Server时,作业运行失败,错误提示为:Unable to execute the SQL statement
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理? 问题描述 读Hudi作业字段映射多了一列col,作业执行失败。 原因分析 使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。
新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决? 问题描述 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive
作业源端是Oracle时,运行时间过长报snapshot too old怎么解决? 是Oracle的约束限制导致,迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION,同时调整UNDO表空间大小即可。 父主题: 故障处理类
当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 问题描述 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理? 解决方案 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read
Hudi目的端的作业自动建表报错:schema不匹配,建表失败怎么办? 问题描述 cdm迁移数据到hudi,hudi选择自动建表,执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 问题描述 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with
Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理? 问题描述 作业执行过程中,由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。 问题分析 日志中出现源端的read timeout报错,或者terminate by xxx之类的报错。
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决? 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息。
createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项
Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? 问题描述 CDM写Hudi为两段式,先写到hive临时表,然后再执行spark sql写到Hudi,写入行数统计的是写hive临时表的行数,当行数不再增长时,说明源端数据已经读完写到Hive表中,此时作业正在执行Spark
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
作业类型: jobType=NORMAL_JOB:表示查询表/文件迁移的作业。 jobType=BATCH_JOB:表示查询整库迁移的作业。 jobType=SCENARIO_JOB:表示查询场景迁移的作业。 不指定该参数时,默认只查询表/文件迁移的作业。 请求参数 表3 请求Header参数
查询规格详情 功能介绍 查询指定规格ID的规格详情。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/flavors/{flavor_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询作业状态 功能介绍 查询作业状态接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id