检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 通用类
请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id
CDM是否支持动态数据实时迁移功能? 问题描述 CDM是否支持动态数据实时迁移功能? 解决方案 不支持。 如果源端在迁移过程中写数据,可能会出现报错。 父主题: 功能类
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
连接CloudTable时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 cloudtable_link
n访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接OBS时,相关连接参数如表1所示。 表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
55。 故障分析 整库迁移每个表中数据平均2~5亿条。源端10分钟会更新一次数据。 CDM不支持实时迁移,但是支持定时迁移,用户10分钟就会有批量数据更新,考虑是迁移任务没有完成,源库已经更新,回滚超时。 Oracle报错ORA-01555,数据迁移如果做整表查询,并且查询时间较
TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 换行符处理方式 对于写入Hive textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案
Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 建议使用的组件版本既可以作为目的端使用,也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本,建议使用的版本:
输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inp
M实例,实现数据访问权限的隔离。 本地环境 本地环境是指用户自建或者租用的IDC中的数据存储系统,或者第三方云环境中的数据存储系统,包括关系型数据库以及文件系统。 本地数据 本地数据是指存储在用户自建或者租用的IDC中的数据,或者第三方云环境中的数据,包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。
查询并显示集群实例信息。 20次/min 修改集群 修改指定CDM集群。 20次/min 启动集群 开启指定CDM集群。 20次/min 连接管理API 创建连接 连接指定的数据源。 120次/min 查询连接 查询连接列表。 120次/min 修改连接 修改连接的参数。 120次/min 删除连接
at和timestamp。 通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个),默认以“|”分隔,也可以自定义文件分隔符,具体请参见文件列表迁移。 待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏
none:写入数据前不清除目标表中数据,数据追加写入。 shouldClearTable:写入数据前会清除目标表中数据。 whereClause:选择根据where条件删除时,需要配置“toJobConfig.whereClause”参数,CDM根据条件选择性删除目标表的数据。 toJobConfig
基本参数 桶名 待迁移数据所在的桶名。 BUCKET_2 源目录或文件 “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个),默认以“|”分隔,也可以自定义文件分隔符,具体请参见文件列表迁移。 待迁移数据的目录,将迁移目录下
Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 从这些数据源导出数据时,CDM使用JDBC接口抽取数据,源端作业参数相同,详细请参见配置PostgreSQL/SQL
应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 说明: 如果配置了时间宏变量,通过DataArts
stopJob 数据仓库服务 CDM支持从数据仓库服务(Data Warehouse Service,简称DWS)导入、导出数据。 关系型数据库服务 CDM支持从关系型数据库服务(Relational Database Service,简称RDS)导入、导出数据,包括云数据库 MySQL、云数据库