检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此时应配置为单进程抽取数据。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 定时备份/恢复 该功能依赖于OBS服务。当前定时备份内容不会自动老化删除，您需要定期手动清理备份文件。 前提条件 已创建OBS连接，详情请参见OBS连接参数说明。 定时备份 在
迁移文件时加解密 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。
1、0 或 NULL。 Elasticsearch/云搜索服务（CSS）数据库迁移时支持的数据类型 源端为Elasticsearch/云搜索服务（CSS）数据库时，支持的数据类型如下： 表10 Elasticsearch/云搜索服务（CSS）数据库作为源端时支持的数据类型 类别 类型 简要释义
功能总览 功能总览 全部 云数据迁移服务 集群管理 创建连接 作业管理 API 云数据迁移服务 云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据
区域和可用区 什么是区域、可用区？ 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用
校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统，与管理IP相关。 https://管理IP:8088/device
新建整库迁移作业 操作场景 CDM支持在同构、异构数据源之间进行整库迁移，迁移原理与新建表/文件迁移作业相同，关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行，会根据整库
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 云数据迁移服务的终端节点如表1所示，请您根据业务需要选择对应区域的终端节点。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点（Endpoint）
HBase连接 介绍 通过HBase连接，可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
CloudTable连接参数说明 连接CloudTable时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接
Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”，选择下载日志类型。 图2 下载日志类型 确认后，即可下载日志到本地。
Kafka，MRS Hudi数据源在创建连接时，单击“选择”选定MRS集群，Manager IP获取到IP如果长度校验不通过，如下图所示。 解决方法 单击服务列表，搜索“MRS”，进入MRS控制台。 单击集群名称进入“现有集群”页面，查询弹性ip，如下图所示。 通过弹性IP地址，登录MRS集群后台。
配置LogHub（SLS）源端参数 作业中源连接为LogHub（SLS）连接时，源端作业参数如表1所示。 表1 LogHub（SLS）作为源端时的作业参数 参数名 说明 取值样例 源连接名称 选择已配置的LogHub（SLS）连接。 sls_link 日志库 目标日志库的名称。 -
Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址，以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。
配置Elasticsearch/云搜索服务（CSS）目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，即将数据导入到Elasticsearch/云搜索服务（CSS）时，目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
配置CDM作业定时任务 在表/文件迁移的任务中，CDM支持定时执行作业，按重复周期分为：分钟、小时、天、周、月。 CDM在配置定时作业时，不要为大量任务设定相同的定时时间，应该错峰调度，避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了
查询版本规格 功能介绍 按版本ID查询所有兼容规格。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/datastores/{datastore_id}/flavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
查询所有可用区 功能介绍 查询CDM集群的所有可用区。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/regions/{region_id}/availability_zones 表1 路径参数 参数 是否必选 参数类型 描述 project_id
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
