-
计费说明 - 云数据迁移 CDM
计费说明 本小节主要介绍云数据迁移的计费说明,包括计费项、计费方式等。 在您使用CDM的过程中,可能还会产生以下相关服务的费用,敬请知悉: OBS服务:数据迁移时,CDM可能会将脏数据写入到OBS服务中,则会产生对象存储服务费用,收费标准请参见OBS价格详情。
-
进阶实践 - 云数据迁移 CDM
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
-
管理作业 - 云数据迁移 CDM
管理作业 新建表/文件迁移作业 新建整库迁移作业 配置作业源端参数 配置作业目的端参数 配置字段映射 配置定时任务 作业配置管理 管理单个作业 批量管理作业
-
管理连接 - 云数据迁移 CDM
管理连接 新建连接 管理驱动 管理集群配置 配置OBS连接 配置PostgreSQL/SQLServer连接 配置数据仓库服务(DWS)连接 配置云数据库MySQL/MySQL数据库连接 配置Oracle数据库连接 配置DLI连接 配置Hive连接 配置HBase连接 配置HDFS
-
HBase连接 - 云数据迁移 CDM
如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。
-
Hive连接 - 云数据迁移 CDM
Hive连接 介绍 通过Hive连接,可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
-
DLI连接 - 云数据迁移 CDM
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。
-
DIS连接 - 云数据迁移 CDM
DIS连接 介绍 通过DIS连接可以与DIS建立连接,并按照用户指定配置将DIS中的数据迁移到其他数据源。
-
CloudTable连接 - 云数据迁移 CDM
如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。
-
目的端为DLI - 云数据迁移 CDM
toJobConfig.database 是 String 写入数据到数据湖探索(DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。
-
目的端为DDS - 云数据迁移 CDM
], "name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 toJobConfig.database 是 String MongoDB/DDS的数据库名称
-
操作流程概述 - 云数据迁移 CDM
使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。 父主题: 案例:贸易数据统计与分析
-
作业任务参数说明 - 云数据迁移 CDM
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。
-
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? - 云数据迁移 CDM
原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方法 在SQL Server数据库中建表时,将数据库字段改大,长度不能小于源端OBS中的数据长度。 父主题: 故障处理类
-
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? - 云数据迁移 CDM
如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 故障处理类
-
通用类 - 云数据迁移 CDM
通用类 CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长?
-
OBS连接 - 云数据迁移 CDM
linkConfig.port 是 String 数据传输协议端口,https是443,http是80。 linkConfig.accessKey 是 String 访问标识(AK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
-
Kafka连接 - 云数据迁移 CDM
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。
-
源端作业参数说明 - 云数据迁移 CDM
/云搜索服务 父主题: 公共数据结构
-
Redis连接 - 云数据迁移 CDM
Redis连接 介绍 通过Redis连接,可以对Redis服务器抽取或加载数据。