检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目录组件有什么用? 数据目录的核心是通过元数据采集任务,采集并展示企业在工作空间范围内的数据资产地图,包括元数据信息和数据血缘关系。 元数据管理 元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数
数据治理评分卡对各维度度量是按5分制进行评分,每一个度量细项只有得分0或得分1,如果满足度量细项要求得分1,否则得分0。 图2 数据治理评分卡数据执行维度度量评分计算范例 如上示例,针对流程7.10交付项目管理,数据执行维度有6个度量细项,则这一度量维度的总体得分就是SUM(度量细项得分)*5/6。所以
CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务(如DWS、MRS及ECS等),则网络互通需满足如下条件:
Studio实例,提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、数据质量监控作业和元数据采集作业的调度次数之和计算的,您可以在新商业模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量。当您的每日作业节点调度的已使用次数
数据目录API 业务资产接口 指标资产接口 统计资产接口 资产管理接口 资产分类接口 资产分级接口 资产信息 血缘信息 元数据采集任务接口 数据地图接口 标签接口
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
新建时间限定 原子指标是计算逻辑的标准化定义,时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻
配置元数据采集任务 本章主要介绍如何通过配置元数据采集策略新建采集任务,不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略,采集对应的技术元数据信息。 约束与限制 当元数据采集任务未指定采集范围时,默认采集该数据连接下的所有数据表/文件。采集任务运行完成后,
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 数据集成
关系建模和维度建模的区别? 问题描述 关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。
管理中心 DataArts Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts
数。创建流程请参见指标配置。 配置指标数据信息。 图2 指标数据信息 表2 指标数据信息参数 参数说明 说明 *计算公式 定义业务指标的计算逻辑,以便指导开发者根据计算公式设计原子指标、衍生指标。业务指标是为了指导技术指标的落地,实际并不做运算。 *统计周期 指定指标的统计周期,
新建数据密级 本章主要介绍数据密级管理,包括密级的创建、删除和调整优先级。 只有在创建密级之后,您才可以创建数据分类,进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
码表和数据标准有什么关系? 问题描述 码表和数据标准的关系是什么。 解决方案 码表由多条表字段的名称+编码+数据类型组成,码表的表字段可以关联到数据标准上,数据标准会应用到某张模型表的字段上。 父主题: 数据架构
数据治理组织职责 在战略层面,由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向,以构建数据文化和氛围为纲,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持。
DateUtil内嵌对象 DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。 方法 表1 方法说明 方法 描述 示例 String format(Date date, String pattern) 将Date类型时间按指定pattern格式为字符串。 将作业调度计划的时间,转换为毫秒格式。
仅“模板名称”选择为自定义的规则模板时,需要配置该参数。自定义的规则模板发布后,会产生对应的版本号,此处选择所需的版本。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”,默认为全表扫描。 当仅需计算一部分数据,或需周期性按时间戳运行对账作业时,建议通过设置where条件进行条件扫描。 where条件
DataArts Studio和ROMA有什么差异? 从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts S
捷自助消费。 衍生指标:是原子指标通过添加限定、维度卷积而成,限定、维度均来源于原子指标关联表的属性。 复合指标:由一个或多个衍生指标叠加计算而成,其中的维度、限定均继承于衍生指标。 注意,不能脱离衍生指标、维度和限定的范围,去产生新的维度和限定。 父主题: 数据架构
配置Hive源端参数 作业中源连接为Hive连接时,源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名