检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DIS连接 介绍 通过DIS连接可以与DIS建立连接,并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":
String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-co
earch/云搜索服务连接。dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接。 update-date 否 Long 更新连接的时间。 enabled
配置网络资源。 选择已创建的源端、目的端数据连接及已配置好网络连接的资源组。 图3 选择数据连接及资源组 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时,可单
文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。 用户在CDM上配置的连接和作业支持导出到本地保存,考虑到密码的安全性,CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前,需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
见MD5校验文件一致性。 是 记录校验结果 当选择校验MD5值时,可以选择是否记录校验结果。 是 校验结果写入连接 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶下。 obslink OBS桶 写入MD5校验结果的OBS桶。 cdm05 写入目录 写入MD5校验结果的目录。
由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,OBS和本地方式均限制文件大小不超过10MB。 导出资源 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 06 SDK&API DataArts Studio软件开发工具包(SDK)是对DataArts Studio提供的REST API进行的Java,Python等封装,以简化用户的开发工作。 API文档
况时,可以参考如下操作查看引用。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
系统会进行资源校验。 由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,OBS和本地方式均限制文件大小不超过10MB。 旧空间导出资源 请您登录控制台首页,选择并进入旧工作空间的“管理
HDFS连接参数说明 FTP/SFTP连接参数说明 Redis连接参数说明 DDS连接参数说明 CloudTable连接参数说明 MongoDB连接参数说明 Cassandra连接参数说明 DIS连接参数说明 Kafka连接参数说明 DMS Kafka连接参数说明 云搜索服务(CSS)连接参数说明
Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 响应参数 无 请求示例 修改连接。 PUT /v1/b3
删除连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 删除一个连接。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 DELETE /v1/{project_id}/co
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
删除数据连接 功能介绍 删除数据连接。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/data-connections/{data_connection_id} 表1 路径参数 参数 是否必选 参数类型 描述 data_connection_id
单击作业列表上方的“导出”按钮,准备导出连接和作业。 图1 批量导出 在弹出的窗口中,选择“全部作业和连接”,单击“确认”,导出所有作业和连接。 图2 全部导出 导出成功后,通过浏览器下载地址,获取到导出的JSON文件。 新空间导入作业和连接 请您登录控制台首页,选择并进入新工作空间的