检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi目的端的作业失败,日志报错Read Timeout怎么解决? 问题描述: 作业日志报错Read time out,日志如下: 原因分析 确认MRS集群的JdbcServer是多实例模式还是多租模式。 如果是多实例模式,跳转3。 否则跳转2。
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办? 问题描述 报错:hoodie table path not found。 报错:写入记录中存在空值,写入失败。 报错:killed by external signal。
是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm 列表文件或目录 在OBS中存储文本文件的文件自定义目录,多级目录可用“/”进行分隔。
当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。
当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。
本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。
本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。
本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。 本示例以执行迁移Oracle数据到MRS Hive的CDM作业为例,介绍通过数据开发使用参数传递功能灵活调度CDM作业。 前提条件 已购买数据集成增量包。
Hudi目的端的作业自动建表报错:schema不匹配,建表失败怎么办?
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
重启集群 功能介绍 重启集群接口。 调用方法 请参见如何调用API。
linkConfig.obsBucketType 否 String OBS桶类型。 对象桶:OB。 并行文件系统:PFS。 说明: 桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。
目的端作业配置 目的连接名称:选择创建RDS连接中的“rds_link”。 模式或表空间:选择将数据导入到RDS的哪个数据库。 自动创表:选择“不存在时创建”,当RDS数据库中没有本地MySQL数据库里的表时,CDM会自动在RDS数据库中创建那些表。
目的端作业配置 目的连接名称:选择创建RDS连接中的“rds_link”。 模式或表空间:选择将数据导入到RDS的哪个数据库。 自动创表:选择“不存在时创建”,当RDS数据库中没有本地MySQL数据库里的表时,CDM会自动在RDS数据库中创建那些表。
作业配置表不存在时自动创建,目的端字段映射不出来怎么处理? 问题描述 迁移SQL Server数据到DWS,目的端配置了当表不存在时自动创建,目的端字段映射不出来 ,如下图所示。
管理单个CDM作业 已存在的CDM作业支持查看、修改、删除、启动、停止等操作,这里主要介绍作业的查看和修改。 查看 查看作业状态 作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决?
Hudi目的端的作业执行卡Running,数据写入行数一直显示为0如何处理? 问题描述 打开日志,最后一行日志如下所示,则说明此时集群并发资源消耗殆尽,或者集群内存使用达到阈值,新提交的作业需要排队等待。