检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS服务:数据迁移时,CDM可能会将脏数据写入到OBS服务中,则会产生对象存储服务费用,收费标准请参见OBS价格详情。 EIP服务:如果您为CDM集群开通了公网IP,则会产生弹性公网IP服务费用,收费标准请参见EIP价格详情。 计费项 计费项 计费说明 CDM集群实例 对您选择的实例规格计费。 针对CD
传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。
CDM未使用数据传输功能时,是否会计费? CDM集群运行状态下,即便未使用也是正常计费的。 如果长期不使用建议删除集群,需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题: 通用类
表名:要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据的桶。 写入目录:写入数据到OBS服务器的目录。 文件格式:迁移数据表到文件时,文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。
表名:要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据的桶。 写入目录:写入数据到OBS服务器的目录。 文件格式:迁移数据表到文件时,文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。
API访问权限,用户无法通过其他接口(如SSH)访问实例。这种方式保证了CDM用户间的隔离,避免数据泄漏,同时保证VPC内不同华为云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到华为云服务,具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到
抽取分区字段 “按表分区抽取”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析
附录 状态码 错误码
公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
目的端为DIS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
IAM权限管理 创建IAM用户并授权使用CDM 创建CDM自定义策略
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
查看审计日志 如何查看审计日志 支持云审计的关键操作
支持的数据源 支持的数据源(2.10.0.300) 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型