检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据
为解决企业的数据集成与分析问题，数据仓库之父比尔·恩门于1990年提出数据仓库（Data Warehouse）。数据仓库主要功能是将OLTP经年累月所累积的大量数据，通过数据仓库特有的数据储存架构进行OLAP，最终帮助决策者能快速有效地从大量数据中，分析出有价值的信息，提供决策支持。自从数据仓库出现之后
数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根
测试创建数据连接 功能介绍 测试创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections/validation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
数据质量 质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
组合识别规则测试 功能介绍 组合识别规则测试 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/check 表1 路径参数 参数 是否必选 参数类型 描述 project_id
DataArts Studio数据安全框架 资源主体：即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS Hive/Spark，云数据仓库DWS，数据湖探索DLI等数据湖，计算引擎队列包含大数据MRS YARN计算队列和数据湖探索计算队列。 全链路数据安全：DataArts
理等能力。DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座，例如MRS Hive、数据仓库服务DWS等，也支持对接企业传统数据仓库，例如Oracle、MySQL等。 DataArts Studio包含如下功能组件： 管理中心 提供DataArts
DWS数据连接开启SSL时测试连接失败怎么办？ 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台，单击进入对应的DWS集群后，选择“安全设置”，然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题： 管理中心
新建数据标准 数据标准是用于描述公司层面需共同遵守的数据含义和业务规则，它描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，是不可再分的最小数据单元。您可
运营能力。 优势 多种云服务作业编排 全链路数据治理管控 丰富数据引擎支持 支持对接所有华为云的数据湖与数据库云服务，也支持对接企业传统数据仓库，比如Oracle等。 简单易用 图形化编排，即开即用，轻松上手。 图1 一站式数据运营治理平台 云上数据平台快速搭建 快速将线下数据迁
数据治理框架 数据治理框架制定如下： 图1 数据治理框架 父主题： 数据治理框架
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提
表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS
由于关系型数据库所采用的JDBC驱动相同，所以连接参数也一样，具体参数请参见PostgreSQL/SQLServer连接参数说明。 数据仓库服务（DWS） 连接数据仓库服务（DWS）时，具体参数请参见数据仓库服务（DWS）连接参数说明。 SAP HANA 连接SAP HANA时，具体参数请参见SAP HANA连接参数说明。
数据开发模块架构 数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。
作业开发时，测试运行后如何查看运行日志？ 问题描述 作业开发时，测试运行后不知道如何查看运行日志。 解决方案 方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。 方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 父主题： 数据开发
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓库服务创建DWS集群，确保与DataArts Studio实例网络互通，并且具有KMS密钥的查看权限。 已在MapReduce服务创建MRS集群，确保与DataArts
Postman调用接口返回结果正常，为什么测试环境调用接口的URL参数不生效？ 问题描述 Postman调用接口返回结果正常，测试环境调用接口的URL参数不生效。 解决方案 URL的参数连接符&需要转义。 父主题： 数据开发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
