检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Migration,后简称CDM)服务,本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面: 登录CDM控制台,单击“集群管理”,进入到CDM主界面。 登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块,进入CDM主界面。 云数据迁移简介
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
Python节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSess
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
HDFS连接参数说明 FTP/SFTP连接参数说明 Redis连接参数说明 DDS连接参数说明 CloudTable连接参数说明 MongoDB连接参数说明 Cassandra连接参数说明 DIS连接参数说明 Kafka连接参数说明 DMS Kafka连接参数说明 云搜索服务(CSS)连接参数说明
Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 响应参数 无 请求示例 修改连接。 PUT /v1/b3
删除连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 删除一个连接。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 DELETE /v1/{project_id}/co
删除数据连接 功能介绍 删除数据连接。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/data-connections/{data_connection_id} 表1 路径参数 参数 是否必选 参数类型 描述 data_connection_id
*接口认证方式 当前仅支持用户名密码认证。 *数据连接 选择RestClient类型的数据连接,连接中的用户名密码将作为第三方平台认证凭据进行 鉴权。 发送请求时,将会以{X-Client-Access-Key: RestClient数据连接用户名,X-Client-Secret-Key:
https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。 - CDH集群 NameNode IP 客户CDH集群的主NameNode IP。 192.168.2.3 HDFS的端口
导出连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 导出zip压缩包格式的连接文件,包括所有连接的定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
String 数据连接名称,可通过本接口的全量数据连接列表返回结果获取。 type 否 String 数据连接类型,可通过本接口的全量数据连接列表返回结果获取。 limit 否 String 每次查询的数据连接条数的限制量。 offset 否 String 每次查询的数据连接条数的分页页码。
DIS数据连接参数说明 表1 DIS连接 参数 是否必选 说明 数据连接类型 是 DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签
从MongoDB、DDS迁移数据时,CDM会读取集合的首行数据作为字段列表样例,如果首行数据未包含该集合的所有字段,用户需要自己手工添加字段。 作业中源连接为MongoDB连接时,即从本地MongoDB或DDS导出数据时,源端作业参数如表1所示。 表1 MongoDB/DDS作为源端时的作业参数 参数类型 参数名
虚拟私有云:CDM集群的VPC,选择用户本地数据中心与云专线连通的VPC。 子网、安全组:这里没有要求,分别任选一个即可。 集群创建完成后,选择集群后面的“作业管理 > 连接管理 > 新建连接”,进入选择连接类型的界面,如图1所示。 图1 选择连接器类型 连接H公司本地的Apache Hadoop
qualified_name String 数据连接限定名称。 dw_id String 数据连接id。 create_user String 数据连接创建者。 create_time Number 数据连接创建时间,时间戳。 dw_catagory String 数据连接类别。 update_type
Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 请求示例 查询连接详情。 GET /v1/b384
作业管理 在作业管理界面,选择“连接管理 - 新建连接”,进入创建连接页面。 在创建连接页面,选择“对象存储服务(OBS)”,新建CDM到OBS的连接,数据连接名称为“obs_link”。 表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: 数据集成API