检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
支持的数据源 支持的数据源(2.10.0.300) 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型
图解云数据迁移
HDFS连接报错get filesystem怎么解决? Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决? 作业配置添加字段,MongoDB字段映射存在问题 DLI外表(OBS文件)迁移DWS某字段转义,带有“\”
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 进阶实践
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
关键操作指导 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
是否支持批量调度作业? 如何备份CDM作业? 如何解决HANA集群只有部分节点和CDM集群网络互通? 如何使用Java调用CDM的Rest API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通? CDM是否支持参数或者变量? CDM迁移作业的抽取并发数应该如何设置?
新建表/文件迁移作业 新建整库迁移作业 配置作业源端参数 配置作业目的端参数 作业配置管理 批量管理作业 已发布区域:全部 API 您可以使用CDM提供的API对云数据迁移服务进行操作,如创建集群、创建连接、创建作业等操作。 已发布区域:全部
CDM支持的监控指标 功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了CDM集群后,云监控服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,监控显示的是当前时间5~10分钟前的状态。如果您的CDM集群刚创建完成,请等待5~10分钟后查看监控数据。
监控安全风险 CDM提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于CDM支持的监控指标,以及如何
参考:作业分片维度 CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。
迁移作业原理 数据迁移模型 CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。
3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 06 API 通过CDM开放的API和调用示例,您可以使用CDM的集群管理、连接管理和作业管理功能。 API文档 概述 API概览 应用示例 API详情 02 购买 云数据迁移(Cloud Data Migration
访问控制 只有华为云统一身份认证服务(Identity and Access Management,简称IAM)授权的用户才能访问CDM控制台和API。推拉模式下,CDM在VPC上没有开放侦听端口,用户无法从VPC访问实例,具有高度的安全性。 数据传输安全 CDM在用户VPC中运行,网络
MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。
MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。