检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据迁移模型,可以看出CDM数据迁移的速率受源端读取速度、网络带宽、目的端写入性能、CDM集群和作业配置等因素影响。 表1 性能影响因素 影响因素 说明 业务相关因素 作业抽取并发数配置 创建CDM迁移作业时,支持设置该作业的抽取并发数。 该参数设置为适当的值可以有效提升迁移速度,过小则会限制迁
IAM权限管理 创建IAM用户并授权使用CDM 创建CDM自定义策略
toJobConfig.database 是 String MongoDB/DDS的数据库名称 toJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 toJobConfig.columnList 否 String 需要抽取的字段列表,字段名之
2-168-1-212:9083 linkConfig.obsSupport 是 Boolean 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式: EMB
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: API
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
linkConfig.serverList 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
CDM是否支持增量迁移? 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移: 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题: 功能类
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: API
附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 需要添加到请求中的公共消息头如表3所示。 表3 公共请求消息头 名称 描述 是否必选 示例 Content-type 消息体的类型(格式),默认取值为“application/json”。
对于CDM非常重要,CDM为此类信息提供三级保护机制。 CDM在本地数据库中存储经过AES-256加密的密码,确保用户隔离。本地数据库使用用户Ruby运行,数据库仅侦听127.0.0.1,用户没有远程访问数据库的权限。 用户实例发放完毕后,CDM将虚拟机的root和Ruby用户密
户无法从VPC访问实例,具有高度的安全性。 数据传输安全 CDM在用户VPC中运行,网络隔离确保数据传输的安全性。支持SSL的数据源,如RDS、SFTP等,可以使用SSL。CDM还支持公网数据源的数据上云,用户可以利用VPN和SSL技术来避免传输安全风险。 用户和网络隔离 CDM
] } 连接参数 参数 是否必选 类型 说明 linkConfig.ak 是 String 登录DLI数据库的AK。 linkConfig.sk 是 String 登录DLI数据库的SK。 linkConfig.region 是 String DLI服务所在的区域。 linkConfig
使用时长计费。 按需计费只包含集群实例费用,不包含公网流量费用。 集群和具体的区域绑定,购买的集群只能在绑定的区域使用。 购买集群后会自动创建CDM集群,如果需要绑定EIP,用户需要前往集群管理界面自行为CDM集群绑定EIP。 按需计费方式下各实例的具体价格,请参见产品价格详情。
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 进阶实践
{ "name": "fromJobConfig.maxPollRecords", "value": "100" },
} 参数说明 参数 是否必选 类型 说明 fromJobConfig.topicsList 是 String Kafka topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置: