检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如:sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间,单位毫秒。 默认值为:600000。
请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.1508 400 必须指定Elasticsearch服务器主机名或IP地址。 未指定Elasticsearch服务器主机名或IP地址。 未指定Elasticsearch服务器主机名或IP地址,请指定后,再重试。 Cdm
表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 kafka_link Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。
表1 数据仓库服务(DWS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1
Studio服务进入数据集成界面可以看到。 对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP:单击集群操作列中的“绑定弹性IP”,进入EIP选择界面。 解绑EIP:选择“更多 > 解绑弹性IP”。 单击“确定”绑定或解绑EIP。 父主题: 创建并管理CDM集群
Job为作业对象,提供了获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 属性和方法 表1 属性说明 属性 类型 描述 name String 作业名称。 planTime java.util.Date 作业调度计划时间,即周期调度配置的时间,例如每天凌晨1:01调度作业。 startTime
0327 无效的连接或作业:%s。 请指定正确的连接或作业再重试。 Cdm.0411 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0412 与文件服务器断开连接时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。
密码不会立即生效且作业会运行失败。 表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts
码。 主机连接描述 否 主机连接的描述信息。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
PostgreSQL/SQLServer连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1
4xx:客户端错误,请求有语法错误或请求无法实现。 5xx:服务器端错误,服务器未能实现合法的请求。 状态码如表1所示。 表1 状态码 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching
HDFS导出数据到OBS的任务。 图6 创建MRS HDFS到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件:待迁移数据的目录或单个文件路径。 文件格式:传输数据时所用的文件格式,这里选择
户,密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
创建OBS到DLI的迁移任务 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据所属的桶。 源目录或文件:待迁移数据的具体路径。 文件格式:传输文件到数据表时,这里选择“CSV格式”或“JSON格式”。 高级属性里的可选参数保持默认。 目的连接名称:选择创建DLI连接中的“dlilink”。
表1 GBASE连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192
作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 表1 入口API算子 参数 说明 API名称 入口API名称即API工作流名称。 支持中文、英文、数字、下划线,且只能以英文或中文开头,3-64个字符。 请求Path 入
存在非法或越权操作,完善服务安全管理。 弹性云服务器服务 DataArts Studio使用弹性云服务器(Elastic Cloud Server,简称ECS)进行CDM集群和数据服务集群的创建,另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。
C、JSON、Avro。 表所属的数据连接 输入已创建的数据连接名称。 表所属的数据库 输入已创建的数据库名称。 数据连接扩展信息 连接类型为DLI时,输入DLI队列名称。连接类型为DWS或POSTGRESQL时,输入Schema名称。 DWS表 DISTRIBUTE BY 仅D
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“运营管理 > 审核中心”,选择“待审核”页签。 在待审核任务列表,可通过对应任务操作列的“审核”、或单击API名称进入API信息页面,逐一审核任务;也可以勾选多个审核任务后通列表上方的“批量审核”,统一审核任务。审核后申请立即生效。 图2 审核按钮