检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
无论数据是在用户本地自建的IDC中、云服务中、第三方云中,或者使用弹性云服务器(Elastic Cloud Server,ECS)自建的数据库或文件系统中,CDM均可帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。
false:源端数据库中所有类型的数据,都会按照字符串写入HBase。 父主题: 目的端作业参数说明
], "name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 toJobConfig.database 是 String MongoDB/DDS的数据库名称
数据库表中存在表示时间的列time,类型为“Number”,插入的时间格式为时间戳。 定时任务中,重复周期为1天,每天的凌晨0点执行定时任务。
配置分库源端参数 配置MongoDB/DDS源端参数 配置Redis源端参数 配置DIS源端参数 配置Kafka/DMS Kafka源端参数 配置Elasticsearch/云搜索服务源端参数 配置MRS Hudi源端参数 配置MRS ClickHouse源端参数 配置达梦数据库
fromJobConfig.database 否 String 待抽取数据的数据库,例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名,例如“cdm”。
密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。 父主题: 通用类
linkConfig.dbIndex 是 String Redis数据库索引。 父主题: 连接参数说明
toJobConfig.database 是 String 写入数据到数据湖探索(DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。
linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig.password 是 String 连接MongoDB服务器的密码。
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? MySQL迁移时报错:invalid input syntax for integer: "true" 作业源端是Oracle时,运行时间过长报snapshot too old怎么解决?
说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。
例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。
数据库表中存在表示时间的列time,类型为“Number”,插入的时间格式为时间戳。 定时任务中,重复周期为1天,每天的凌晨0点执行定时任务。
使用包围符 “文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。
表1 读取性能实测数据 数据源 数据源规格 版本 单并发抽取速率(行/s) 多并发抽取速率(行/s) 云数据库 MySQL 8U 32G MySQL 5.7 42052 195313(并发度:40) Oracle 8U 16G 19C 18539 18706(并发度:10) MRS
数据加密 用户数据源的访问信息(用户名和密码)存储在CDM实例的数据库中,并采用AES-256加密,CDM管理员无法访问。 数据删除 用户删除CDM实例时,存储在实例中的数据都会被删除,任何人都无法查看及恢复数据。
], "name": "fromJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称