检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
义的具体实现,定义了指标如何计算。 数据指标功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 当前仅北京四、上海一和上海二局点给部分用户开放使用。 背景 为了满足用户实际业务场景需求,现将数据架构的指标管理与数仓分层进行独立管理,从而降低指标管理的使用门槛,帮助用户把指标系统快速使用起来。
Analytical Processing)进行数据分析,探究一些深层次的关系和信息。但是不同的数据库之间很难做到数据共享,数据之间的集成与分析也存在非常大的挑战。 为解决企业的数据集成与分析问题,数据仓库之父比尔·恩门于1990年提出数据仓库(Data Warehouse)。数据仓库主要功能是
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。 新建MySQL连接器 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理
准备工作,包括使用DataArts Studio前的准备、数据源准备和数据湖准备。 数据开发,包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的数据分析结果。
程,并可以进行权限的审计和管理。提高数据安全的同时,还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。
查看数据血缘 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示: 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作,与CDM迁移近
数据治理中心-成长地图 | 华为云 数据治理中心 数据治理中心(DataArts Studio)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
步骤3:数据开发处理 本步骤通过电影信息和评分信息的原始数据,分析评分最高的Top10电影和最活跃的Top10电影,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 评分最
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题: 数据目录
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后,您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成,请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。 每天提供一个运维报表,统计各应用的告警级别数据。
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
查看资产总览 通过总览,可以查看资产总览及资产报告。 资产总览可展示业务资产、技术资产和指标资产的情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务,资产总览展示数据库、数据表、数据量的数量及其详情。
图解数据治理中心DataArts Studio
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例