检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
linkConfig.dbIndex 是 String Redis数据库索引。 父主题: 连接参数说明
图1 CDM定位 产品功能 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。
], "name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 toJobConfig.database 是 String MongoDB/DDS的数据库名称
配置分库源端参数 配置MongoDB/DDS源端参数 配置Redis源端参数 配置DIS源端参数 配置Kafka/DMS Kafka源端参数 配置Elasticsearch/云搜索服务源端参数 配置MRS Hudi源端参数 配置MRS ClickHouse源端参数 配置达梦数据库
数据库表中存在表示时间的列time,类型为“Number”,插入的时间格式为时间戳。 定时任务中,重复周期为1天,每天的凌晨0点执行定时任务。
密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。 父主题: 通用类
fromJobConfig.database 否 String 待抽取数据的数据库,例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名,例如“cdm”。
说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。
toJobConfig.database 是 String 写入数据到数据湖探索(DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。
使用包围符 “文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。
例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。
linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig.password 是 String 连接MongoDB服务器的密码。
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? MySQL迁移时报错:invalid input syntax for integer: "true" 作业源端是Oracle时,运行时间过长报snapshot too old怎么解决?
数据库表中存在表示时间的列time,类型为“Number”,插入的时间格式为时间戳。 定时任务中,重复周期为1天,每天的凌晨0点执行定时任务。
例如:迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题: 通用类
表1 读取性能实测数据 数据源 数据源规格 版本 单并发抽取速率(行/s) 多并发抽取速率(行/s) 云数据库 MySQL 8U 32G MySQL 5.7 42052 195313(并发度:40) Oracle 8U 16G 19C 18539 18706(并发度:10) MRS
进一步排查客户Mysql数据库是否异常,将日志中打印查询源端的sql在Mysql客户端执行,看是否报错以及报错情况: 发现执行查询语句,全表查询,报错“Lost connection to MySQL server during query”,再次尝试执行count语句,查询数据,
数据加密 用户数据源的访问信息(用户名和密码)存储在CDM实例的数据库中,并采用AES-256加密,CDM管理员无法访问。 数据删除 用户删除CDM实例时,存储在实例中的数据都会被删除,任何人都无法查看及恢复数据。
], "name": "fromJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称
cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是,任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true,空字符串将作为null。