检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径,CDM会将文件写入到该路径下。 文件格式:与源端一样,选择“二进制格式”,原始文件自身的格式不会改变。 重复文件处理方式:这里选择“跳过重复文件”。只有当源端和目的端存在文件名、文件大小都相同的文件时,CDM才会判定该文件为重复文件,这时CDM将跳过该文件,不迁移到OBS。
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CDM
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
properties文件中分区信息不一致时,会导致数据写入失败怎么解决? 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息。 call
10。 下载端口映射工具IPOP,在网关机上安装IPOP。 运行端口映射工具,选择“端口映射”,如图2所示。 本地地址、本地端口:配置为网关机的公网地址和端口(后续在CDM上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射
Hadoop时的Namenode URI地址,格式为“ip:port”。 linkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight
说明: 启用SSL认证后,Kafka会将Kafka Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka
} ] } 连接参数 参数 是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如:192.168.0.1:9200;192
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。
css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 安全模式认证 是否开启安全模式认证。
参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin
参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。
JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径(不支持目录),例如直接写为如下内容:
300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)
200版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)
200版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)
300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)
300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)
300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)