检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。 本示例以执行迁移Oracle数据到MRS Hive的C
配置SAP HANA源端参数 SAP HANA作为源端作业参数如表1所示。 表1 SAP HANA作源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择
配置神通(ST)源端参数 从神通(ST)导出数据时,源端作业参数如表1所示。 表1 神通(ST)作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择
配置达梦数据库 DM源端参数 从达梦数据库 DM导出数据时,源端作业参数如表1所示。 表1 达梦数据库 DM作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移,本章节以MRS HDFS-->OBS为例,介绍如何通过CDM将文件类数据迁移到文件中。流程如下: 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
OBS数据迁移到DLI服务 操作场景 数据湖探索(Data Lake Insight,简称DLI)提供大数据查询服务,本章节介绍使用CDM将OBS的数据迁移到DLI,使用流程如下: 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI,并且当前用户拥有OBS的读取权限。
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud
配置DWS目的端参数 作业中目的连接为DWS连接时,目的端作业参数如表1所示。 表1 目的端为DWS时的作业参数 参数名 说明 取值样例 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移,本章节以MRS HDFS-->OBS为例,介绍如何通过CDM将文件类数据迁移到文件中。流程如下: 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
OBS数据迁移到DLI服务 操作场景 数据湖探索(Data Lake Insight,简称DLI)提供大数据查询服务,本章节介绍使用CDM将OBS的数据迁移到DLI,使用流程如下: 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI,并且当前用户拥有OBS的读取权限。
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移,本章节以MySQL-->OBS为例,介绍如何通过CDM将表数据迁移到OBS中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
计费说明 本小节主要介绍云数据迁移的计费说明,包括计费项、计费方式等。 在您使用CDM的过程中,可能还会产生以下相关服务的费用,敬请知悉: OBS服务:数据迁移时,CDM可能会将脏数据写入到OBS服务中,则会产生对象存储服务费用,收费标准请参见OBS价格详情。 EIP服务:如果您
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移,本章节以MySQL-->OBS为例,介绍如何通过CDM将表数据迁移到OBS中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
配置DWS源端参数 作业中源连接为DWS连接时,源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,
CloudTable连接参数说明 连接CloudTable时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接
源端为HTTP/HTTPS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
配置MongoDB目的端参数 作业中目的连接为MongoDB连接时,目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后
配置HTTP源端参数 作业中源连接为HTTP连接时,源端作业参数如表1所示。当前只支持从HTTP URL导出数据,不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS