数据治理中心 CDM服务可以作为数据治理中心(DataArts Studio)服务的数据集成组件,可与DataArts Studio其他组件配合完成数据迁移和周期调度等任务。
目的端为Elasticsearch/云搜索服务 JSON样例 "to-config-values": { "configs": [ { "inputs": [
服务韧性 CDM通过流量限制、备份恢复等技术方案,保障数据的持久性和可靠性。 关于CDM备份,用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 安全
源端为Elasticsearch/云搜索服务 JSON样例 "from-config-values": { "configs": [ { "inputs": [
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: API
OMS主要功能有以下两个: 线上数据迁移服务:帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移上云。 跨区域的复制:指的是华为云各个Region之间的数据复制和备份。
API 集群管理 作业管理 连接管理
目的端为HBase/CloudTable JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name
目的端为OBS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.bucketName
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
源端为DIS JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
目的端为Hive JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.hive
目的端为关系数据库 JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.schemaName
关键操作指导 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.useSql
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
功能类 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群? 是否支持批量创建作业? 是否支持批量调度作业? 如何备份CDM作业? 如何解决HANA集群只有部分节点和
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 进阶实践
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
使用前必读 概述 终端节点 项目ID和账号ID 基本概念
您即将访问非华为云网站,请注意账号财产安全