检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。
表1 连接参数分类 连接器类型 参数说明 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 由于关系型数据库所采用的JDBC驱动相同,所以连接参数也一样,具体参数请参见PostgreSQL/SQLServer
图1 CDM定位 产品功能 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。
CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。
查看CDM迁移作业,源端数据库表名全部为小写,但是迁移的表中是包含有大写字母,将所要迁移的表名跟数据库中保持一致,目的端字段就可以映射出来了,问题解决。 解决方案 在作业设置中,源端配置中迁移的数据库表名应按照数据库中的名称填写或者通过搜索选择表名,问题解决。
图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MRS HDFS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。
图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MRS HDFS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。
ssl String 是否使用ssl。 createFrom String 创建来源。 resourceId String 资源ID。 flavorType String 规格类型。 workSpaceId String 工作空间ID。 trial String 适用。
hudi_from_cdm 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hudi表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。
关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 SQL Server 支持按表字段分片。
"name": "fromJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.index 是 String 抽取数据的索引,类似关系数据库中的数据库名称
关系型数据库服务 CDM支持从关系型数据库服务(Relational Database Service,简称RDS)导入、导出数据,包括云数据库 MySQL、云数据库 PostgreSQL、云数据库 SQL Server。
age > 18 and age <= 60 约束冲突处理 导入数据到云数据库 MySQL且当迁移数据出现冲突时的处理方式。 insert into:当存在主键、唯一性索引冲突时,数据无法写入并将以脏数据的形式存在。
说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。
该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。
my_link 用户名 待连接数据库的用户。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时,该配置对A生效。如果后端数据库B已配置用户名密码,此处配置不对B生效。 cdm 密码 待连接数据库的用户密码。
重启集群 功能介绍 重启集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,
ssl String 是否使用ssl。 createFrom String 创建来源。 resourceId String 资源ID。 flavorType String 规格类型。 workSpaceId String 工作空间ID。 trial String 适用。