检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程,请参见开发一个DLI Spark作业。 参数 用户可参考表1,表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称
管理维度表 维度表与维度一一对应,通过丰富维度中的属性信息构建形成。维度表的生命周期(包括新建、发布、编辑、下线操作)通过维度进行管理,在维度发布成功后,系统会自动创建并发布对应的维度表。 查看维度表发布历史 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。
获取规则模板详情 功能介绍 获取规则模板详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/rule-templates/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
指定集群创建作业 功能介绍 指定集群创建作业接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询数据服务集群访问日志列表 功能介绍 查询数据服务集群访问日志列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/{instance_id}/accesslog 表1 路径参数 参数 是否必选 参数类型
生成元数据xml文件是手动单击“生成元数据”触发的,如果在该节点在后续的作业调度运行中,点表和边表结构发生变化,元数据xml文件并不会随之更新,需要手动进入新建元数据窗口,再次单击“生成元数据”重新生成新的元数据xml文件。 生成的元数据xml文件,属性(Property)中的数据复合类型(Cardinal
批量血缘(邀测) 功能介绍 批量血缘接口,一次性获取所有作业算子的血缘。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/lineage/bulk 表1 路径参数 参数 是否必选
使用Python脚本连接MRS安全集群执行Impala SQL 第一步:在执行任务的服务器上安装相应的包 pip install krbcontext(版本0.10) pip install kerberos(版本1.3.1) pip install impala 命令样例如下:
管理中心API概览 表1 管理中心API类型 类型 说明 数据连接管理 数据连接管理类型接口。 购买实例 购买实例类型接口。 工作空间管理 工作空间管理类型接口。 实例管理 实例管理类型接口。 工作空间用户管理 工作空间用户管理类型接口。 数据源元数据获取 数据源元数据获取类型接口。
创建数据连接 功能介绍 创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询作业 功能介绍 查询作业接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
更新数据连接信息 功能介绍 更新数据连接信息。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/data-connections/{data_connection_id} 表1 路径参数 参数 是否必选 参数类型 描述 data_connection_id
测试创建数据连接 功能介绍 测试创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections/validation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
新建DataArts Studio与MRS Hive数据湖的连接 本章节以新建MRS Hive连接为例,介绍如何建立DataArts Studio与数据湖底座之间的数据连接。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。
获取schemas 功能介绍 获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/schemas
MRS Hive数据连接参数说明 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为MapReduce服务(MRS Hive)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
产出信息(邀测) 功能介绍 查询表相关的作业算子运行实例信息,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/node/{task_id}/instances 表1 路径参数
修改作业 功能介绍 修改作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
随机集群创建作业并执行 功能介绍 随机集群创建作业并执行接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
常见错误码参考 如果操作请求在执行过程中出现异常导致未被处理,则会返回一条错误信息。错误信息中包括错误码和具体错误描述。表1列出了错误信息中的常见错误码。您可以通过表1中的处理建议进行下一步操作,处理相应的异常。 错误码说明 表1 错误码说明 错误码 错误信息 处理建议 Cdm.0000