检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查找版本信息 功能介绍 通过名称、创建者、修改时间查找版本信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询数据服务集群访问日志列表 功能介绍 查询数据服务集群访问日志列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/{instance_id}/accesslog 表1 路径参数 参数 是否必选 参数类型
常用EL表达式样例合集 本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。 例如,判断节点是否运行成功,
比较版本信息 功能介绍 通过两个版本id,比较两者差异。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/design/versions/compare 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
MRS Hive数据连接参数说明 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为MapReduce服务(MRS Hive)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
入门实践 当您参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作后,可以根据自身的业务需求使用DataArts Studio提供的一系列常用实践。 表1 常用最佳实践
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程,请参见开发一个MRS Spark Python作业。 参数 用户可参考表1,表2和表3配置MRS
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
最小化权限授权实践 实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作,仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限,则会出现如下非必需权限过大的风险:
原子指标 原子指标是对指标统计逻辑、具体算法的一个抽象。为了从根源上解决定义、研发不一致的问题,指标定义明确设计统计逻辑(即计算逻辑),不需要二次或者重复研发,从而提升了研发效率,也保证了统计结果的一致性。 原子指标中仅含有唯一度量,所含其它所有与该度量、该业务对象相关的属性,旨在用于支撑指标的敏捷自助消费。
配置Hive目的端参数 作业中目的连接为Hive连接时,目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
配置元数据采集任务 本章主要介绍如何通过配置元数据采集策略新建采集任务,不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略,采集对应的技术元数据信息。 约束与限制 当元数据采集任务未指定采集范围时,默认采集该数据连接下的所有数据表/文件。采集任务运行完成后,
导入导出 数据架构支持流程、主题、码表、数据标准、关系建模表(物理表)、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出,暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出,其他数据操作类似。如果
权限治理使用流程 统一权限治理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力,包含如下特性: 集中式访问控制 融合了不同的大数据服务进行统一权限管理,如MRS、DWS、DLI等,给用户带来了统一的权限配置入口,极大的提高了易用性和可维护性。 多级权限配置模型
如何选择版本 请您根据您所需的功能和规格,慎重选择DataArts Studio版本。 购买版本后,无法直接降级版本。如已购买企业版,无法直接降级到初级版,您需要采取先备份数据,然后退订原有实例,购买新实例,最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长,
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线,且长度为1~64个字符。
修改作业 功能介绍 修改作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
配置OBS目的端参数 作业中目的连接为OBS连接时,即导入数据到云服务OBS时,目的端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。
配置OBS目的端参数 支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。