-
DataArts Studio使用简介 - 数据治理中心 DataArts Studio
根据自身的业务特点和源数据类型,进行数据存储与分析系统的选型,选取合适的云服务用于存储源数据并进行数据查询和分析。然后,创建该云服务相应的数据连接。 新建数据连接 新建数据连接 数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移
-
入口API算子 - 数据治理中心 DataArts Studio
3-64个字符。 请求Path 入口API访问路径即API工作流访问路径,例如:/getUserInfo。 请求Path即完整的URL中,域名之后、查询参数之前的部分,如图1中的“/blogs/xxxx”。 图1 统一资源定位符URL说明 在请求Path中,可以使用大括号{}标识
-
MRS Spark SQL - 数据治理中心 DataArts Studio
QL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时,该参数为必填。 说明: 数据连接为MRS API连接时支持为Spark SQL作业独
-
终端节点Endpoint - 数据治理中心 DataArts Studio
地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 cdm.cn-north-1.myhuaweicloud
-
获取实例列表 - 数据治理中心 DataArts Studio
过期时间天数,包周期实例有效 expire_time Number 过期时间点,包周期有效 lock_check_endpoint String CBC锁定节点域名 create_user String 创建用户 create_time Number 创建时间点 domain_id String 用户domain
-
配置方式生成API - 数据治理中心 DataArts Studio
也可选择新建API目录已创建的API分组。 请求Path API访问路径,例如:/getUserInfo。 请求Path即完整的URL中,域名之后、查询参数之前的部分,如图3中的“/blogs/xxxx”。 图3 统一资源定位符URL说明 在请求Path中,可以使用大括号{}标识
-
SDK调用常见错误码/错误信息 - 数据治理中心 DataArts Studio
domain over ratelimit, limit:1000, time:1 day 域名的请求次数达到了给定的上限:1天1000次 建议:去API网关,为分组绑定域名。 临时规避:切换分组。域名以分组为单位,每个分组限制独立计算。 DLM.4018 Api is not exist
-
MySQL整库迁移到RDS服务 - 数据治理中心 DataArts Studio
法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型 选择“云数据库 MySQL”后单击“下一步”,配置云数据库 MySQL连接的参数。 单击“
-
共享版与专享版数据服务的对比 - 数据治理中心 DataArts Studio
共享版 专享版 基本功能 精细化流控策略 30个 500个 IP&用户访问控制 √ √ 安全认证 √ √ API生命周期管理 √ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式
-
创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? - 数据治理中心 DataArts Studio
创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题: 数据集成
-
配置MRS Doris数据连接 - 数据治理中心 DataArts Studio
配置MRS Doris数据连接 表1 MRS Doris数据连接 参数 是否必选 说明 数据连接类型 是 MRS Doris连接固定选择为MapReduce服务(MRS Doris)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
-
配置MRS Hetu数据连接 - 数据治理中心 DataArts Studio
配置MRS Hetu数据连接 表1 MRS Hetu数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hetu连接固定选择为MapReduce服务(MRS Hetu)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
-
配置MRS Ranger数据连接 - 数据治理中心 DataArts Studio
配置MRS Ranger数据连接 表1 MRS Ranger数据连接 参数 是否必选 说明 数据连接类型 是 MRS Ranger连接固定选择为MapReduce服务(MRS Ranger)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
-
作业开发流程 - 数据治理中心 DataArts Studio
要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。
-
查询集群概览信息列表 - 数据治理中心 DataArts Studio
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
-
查询API信息 - 数据治理中心 DataArts Studio
String 发布类型(已弃用)。 枚举值: PUBLISH_TYPE_PUBLIC:公开 PUBLISH_TYPE_PRIVATE:私有 log_flag Boolean 是否开启日志记录。 path String API的访问路径。 host String 共享版域名。 hosts InstanceHostDTO
-
查询集群详情信息列表 - 数据治理中心 DataArts Studio
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
-
查询集群详情信息 - 数据治理中心 DataArts Studio
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
-
概述 - 数据治理中心 DataArts Studio
、数据库高并发访问导致宕机、SQL注入等风险)。 使用无认证方式时,无需鉴权认证信息。通过API调用工具或SDK方式,直接使用已发布API域名并填写入参即可进行调用。 父主题: 数据服务SDK参考
-
配置Kafka连接 - 数据治理中心 DataArts Studio
Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka,其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时,相关参数如表2所示。 表2 Apache Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据