-
什么是数据治理中心DataArts Studio - 数据治理中心 DataArts Studio
DataArts Studio包含如下功能组件: 管理中心 提供DataArts Studio数据连接管理的能力,将DataArts Studio与数据湖底座进行对接,用于数据开发与数据治理等活动。
-
数据质量 - 数据治理中心 DataArts Studio
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
-
新建数据标准 - 数据治理中心 DataArts Studio
首次进入数据治理中心的数据标准页面,会显示制定数据标准模板的页面,在“可选项”中勾选所需要的选项,添加自定义项,完成后单击“确定”。 保存模板后,如需修改,您也可以进入“配置中心 > 标准模板管理”页面修改模板,详情请参见标准模板管理。
-
数据治理框架 - 数据治理中心 DataArts Studio
数据治理框架 数据治理框架制定如下: 图1 数据治理框架 父主题: 数据治理框架
-
创建MySQL连接器 - 数据治理中心 DataArts Studio
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。
-
数据集成概述 - 数据治理中心 DataArts Studio
这种方式保证了CDM用户间的隔离,避免数据泄漏,同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务,具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。
-
元数据简介 - 数据治理中心 DataArts Studio
元数据简介 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。
-
配置Redis源端参数 - 数据治理中心 DataArts Studio
如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。
-
云日志接入 - 数据治理中心 DataArts Studio
当前数据服务日志仅支持华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、华南-广州-友好用户环境、西南-贵阳一、中国-香港、亚太-新加坡。 当前数据服务日志仅支持专享版。 配置云日志基础服务 为了能够在云日志服务上面看到数据服务API的日志,需要配置云日志服务。
-
案例:搭建实时报警平台 - 数据治理中心 DataArts Studio
已开通数据治理中心DataArts Studio,并具备CDM集群“cdm-alarm”,用于创建CDM作业。 已开通数据湖探索服务(DLI)。 已开通消息通知服务(SMN)。 数据准备 原始告警表为数据中心的实时数据,包含告警ID、告警级别。示例数据如表1所示。
-
管理中心 - 数据治理中心 DataArts Studio
管理中心 DataArts Studio支持治理哪些数据湖? 创建数据连接需要注意哪些事项? 为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示?
-
华为数据治理实践 - 数据治理中心 DataArts Studio
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。
-
DataArts Studio使用简介 - 数据治理中心 DataArts Studio
添加审核人 添加审核人 管理配置中心 管理配置中心 流程设计 流程设计 主题设计 主题设计 码表管理 新建码表 制定数据标准 新建数据标准 关系建模 关系建模 维度建模 维度建模 业务指标 业务指标 技术指标 技术指标 数据集市建设 新建汇总表 数据开发 可管理多种大数据服务,提供一站式的大数据开发环境
-
数据地图 - 数据治理中心 DataArts Studio
数据地图 数据地图简介 资产总览 数据目录 标签管理 父主题: 数据目录组件
-
主题设计 - 数据治理中心 DataArts Studio
自动生成:按照配置中心的编码规则自动生成 自定义:输入自定义编码 主题层级数目由用户在配置中心的主题层级中自定义,系统默认有三个层级,从上到下分别命名为主题域分组(L1)、主题域(L2)、业务对象(L3)。
-
配置Elasticsearch连接 - 数据治理中心 DataArts Studio
配置Elasticsearch连接 Elasticsearch连接适用于第三方云的Elasticsearch服务,以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。
-
数据资产guid - 数据治理中心 DataArts Studio
在数据地图或数据目录组件中,数据资产guid的获取步骤如下: 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择“数据地图”或对应工作空间的“数据目录”,进入数据地图或数据目录页面。
-
上传存量数据 - 数据治理中心 DataArts Studio
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。
-
配置MongoDB连接 - 数据治理中心 DataArts Studio
配置MongoDB连接 MongoDB连接适用于第三方云MongoDB服务,以及用户在本地数据中心或ECS上自建的MongoDB,常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。
-
区域和可用区 - 数据治理中心 DataArts Studio
我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。