检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启 cluster restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster
端作业配置中指定。 目的端作业配置 在创建作业的过程中,由目的连接指定加载数据到哪个数据源,不同目的连接对应的目的端作业参数不同,例如将数据导入到哪个表或哪个目录,这些信息在目的端作业配置中指定。 字段映射 在创建作业的过程中,尤其是异构数据源之间的迁移作业,一般需要配置源端和目
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
关键操作指导 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
编辑作业JSON:选择作业操作列的“更多 > 编辑作业JSON”,可直接编辑该作业的JSON文件,作用等同于修改作业的参数配置。 配置定时任务:选择作业操作列的“更多 > 配置定时任务”,可选择在有效期内周期性启动作业,具体请参考配置CDM作业定时任务。 日志:选择作业操作列的“更多 > 日志”,可查看该作业最近的一次日志。
参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。
参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。
configurationStatus String 节点配置状态: In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。 paramsGroupId String 配置ID。 type String 配置服务类型,这里为cdm。 role String
publicIp String 公网ip。 manageIp String 管理ip。 trafficIp String 流量ip。 shard_id String 分片id。 manage_fix_ip String 管理修复ip。 private_ip String 私有ip。 internal_ip
Integer 总文件数。 ROWS_READ Long 读取的行数。 BYTES_READ Long 读取的字节数。 ROWS_WRITTEN Long 写入的行数。 FILES_WRITTEN Integer 写入的文件数。 FILES_READ Integer 读取的文件数。 TOTAL_SIZE
Integer 总文件数。 ROWS_READ Long 读取的行数。 BYTES_READ Long 读取的字节数。 ROWS_WRITTEN Long 写入的行数。 FILES_WRITTEN Integer 写入的文件数。 FILES_READ Integer 读取的文件数。 TOTAL_SIZE
全风险。 用户和网络隔离 CDM实例运行在用户独立的VPC内,VPC允许用户通过配置VPC入站IP范围,来控制连接CDM的IP地址段。CDM实例部署在用户VPC后,用户可以综合运用子网和安全组的配置,来完成CDM实例的隔离,提升CDM实例的安全性。 数据加密 用户数据源的访问信息
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标
这2个参数支持配置为时间宏变量,例如: 起始时间配置为${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}时,表示只导出昨天以后的数据。 终止时间配置为${dateformat(yyyy-MM-dd HH:mm:ss)}时,表示只导出当前时间以前的数据。 这2个参数同时配置后,CDM
这2个参数支持配置为时间宏变量,例如: 起始时间配置为${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}时,表示只导出昨天以后的数据。 终止时间配置为${dateformat(yyyy-MM-dd HH:mm:ss)}时,表示只导出当前时间以前的数据。 这2个参数同时配置后,CDM
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
这种类型能够存储最多4GB的数据。当字符集发生转换时,这种类型会受到影响。 不支持 不支持 bfile 可以在数据库列中存储一个oracle目录对象和一个文件名,用户可以通过它来读取这个文件。 不支持 不支持 其他类型 rowid 实际上是数据库表中行的地址,它有10字节长。 不支持 不支持 urowid 是一