-
数据保护技术 - 云数据迁移 CDM
用户在控制台上删去填写的手机号、邮箱,并关闭消息通知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云CDM的API调用都支持 HTTPS 来对传输中的数据进行加密。 父主题: 安全
-
目的端为关系数据库 - 云数据迁移 CDM
toJobConfig.useStageTable 否 Boolean 先导入阶段表,如果设置为“true”,数据导入目的表之前会把数据先导入阶段表,如果成功导入阶段表,则再从阶段表导入到目的表,这样避免导入过程失败,在目的表遗留部分成功数据。
-
DES迁移一个月前的历史数据 - 云数据迁移 CDM
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。
-
故障处理类 - 云数据迁移 CDM
Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决?
-
目的端为DLI - 云数据迁移 CDM
toJobConfig.shouldClearTable 否 Boolean 导入前是否清空资源队列的数据。 父主题: 目的端作业参数说明
-
目的端为Hive - 云数据迁移 CDM
toJobConfig.shouldClearTable 否 Boolean 导入前是否清空目标表的数据,如果设置为true,任务启动前会清除目标表中数据。 父主题: 目的端作业参数说明
-
目的端为Elasticsearch/云搜索服务 - 云数据迁移 CDM
toJobConfig.shouldClearType 否 Boolean 导入前是否清除数据。 toJobConfig.primaryKey 否 String 主键或唯一索引。
-
目的端为HBase/CloudTable - 云数据迁移 CDM
toJobConfig.isOverride 否 Boolean 使用BULKLOAD方式导入数据时,是否清空数据,例如:“true”。 toJobConfig.delimiter 否 String 当选取多个列做rowkey时,连接多列的分隔符,例如:“|”。
-
目的端为HDFS - 云数据迁移 CDM
toJobConfig.encryption 否 枚举 当“toJobConfig.outputFormat”(文件格式)为“BINARY_FILE”(二进制)时才有该参数,选择是否对导入的数据进行加密,以及加密方式: NONE:不加密,直接写入数据。
-
配置云搜索服务(CSS)连接 - 云数据迁移 CDM
导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接云搜索服务(CSS)时,相关参数如表1所示。
-
责任共担 - 云数据迁移 CDM
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。
-
附录 - 云数据迁移 CDM
附录 状态码 错误码
-
公共数据结构 - 云数据迁移 CDM
公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明
-
源端为对象存储 - 云数据迁移 CDM
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.bucketName
-
源端为Kafka - 云数据迁移 CDM
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
-
目的端为DIS - 云数据迁移 CDM
目的端为DIS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.streamName
-
源端作业参数说明 - 云数据迁移 CDM
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch
-
案例:贸易数据统计与分析 - 云数据迁移 CDM
案例:贸易数据统计与分析 场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
-
使用CDM上传数据到OBS - 云数据迁移 CDM
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 案例:贸易数据统计与分析
-
Hudi源端案例库 - 云数据迁移 CDM
Hudi源端案例库 读Hudi作业长时间出于BOOTING状态怎么解决? 读Hudi作业字段映射多了一列col,作业执行失败怎么处理? 父主题: 故障处理类