检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表是否可配置生命周期管理？ 问题描述 表是否可配置生命周期管理。 解决方案 目前暂不支持表生命周期管理的配置。 父主题： 数据架构
什么是数据仓库？ 随着数据库的大规模应用，使信息行业的数据爆炸式的增长。为了研究数据之间的关系，挖掘数据隐藏的价值，人们越来越多的需要使用联机分析处理OLAP（On-Line Analytical Processing）进行数据分析，探究一些深层次的关系和信息。但是不同的数据库之
按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和
成员是被授予工作空间访问或使用权限的华为账号。在添加工作空间成员时，您需要同时为添加的成员设置相应的角色。 角色是一组操作权限的集合。不同的角色拥有不同的操作权限，把角色授予成员后，成员即具有了角色的所有权限。每位成员至少要拥有一个角色，并且可以同时拥有多种角色。 数据集成集群 一个
企业数字化转型面临的挑战 企业在进行数据管理时，通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论，数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具，数据找不到。 缺乏技术元数据与业务元数据的关联，数据读不懂。 缺乏数据的质量管控和评估手段，数据不可信。
在已上线数据安全组件的区域，数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过
Studio是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台，包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统
全和数据治理的诉求，不同角色用户使用数据安全的场景如图2所示。 图2 用户使用场景图 特点优势 数据安全融合了不同的大数据服务进行统一入口管理，包括MRS、DWS、DLI，统一的权限配置入口能力，提高了易用性和可维护性。 数据安全以数据为中心，提供了围绕数据全链路的数据安全能力，
您可以根据您的需要，对已创建发布的API进行管理。 编排API 编排API是将已经开发好的服务API接口，在无需编写复杂代码的情况下，根据特定的业务逻辑和流程进行可视化的重组和重构，从而实现在不影响原生接口的前提下进行简便的二次开发。 （可选）配置流控策略 为了保护后端服务的稳定的考虑，您可以对API进行流量控制。
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。
挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。
由一个特定的分析对象及其相关的统计指标组成的，向用户提供了以统计粒度为主题的所有统计数据。 数据开发：一站式协同开发平台 DataArts Studio数据开发是一个一站式敏捷大数据开发平台，提供可视化的图形开发界面、丰富的数据开发类型（脚本开发和作业开发）、全托管的作业调度和运
结合DataArts Studio服务的能力进行业务流程设计。 需求分析。分析业务情况，明确业务诉求，并提炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计。 业务调研。明确DataArts Studio服务的能力边界，并分析后续的业务负载情况。 流程设计。以实际业务情况结合DataArts
或多个业务相关的作业，一个作业可以被多个解决方案复用。 作业：作业由一个或多个节点组成，执行作业可以完成对数据的一系列操作。 脚本：脚本（Script）是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合，在其中可以实现一定的逻辑分支等。
Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台，基于数据湖底座，提供数据集成、开发、治理等能力。针对不同的使用场景，我们提供了不同的使用方案示例： 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本 业务能力 适用场景 免费版：基于DLI的电商BI报表数据开发流程
的事实表、数据集市的汇总表的新建、修改、导入表时，会校验是否有前缀，没有的话会校验失败。进行逆向操作时，也会校验是否有前缀。 描述 逻辑模型的描述信息。 更多操作如下。 单击已新建的逻辑模型右侧的“编辑”，可以修改逻辑模型的参数信息。 单击已新建的逻辑模型右侧的“删除”，可以删除
也支持对接企业传统数据仓库，比如Oracle等。 简单易用 图形化编排，即开即用，轻松上手。 图1 一站式数据运营治理平台 云上数据平台快速搭建 快速将线下数据迁移上云，将数据集成到云上大数据服务中，并在DataArts Studio的界面中就可以进行快速的数据开发工作，让企业数据体系的建设变得如此简单。
数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓库服务创建DWS集群，确保与DataArts
的数据源类型。 本文介绍2.9.3.300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
离线处理集成作业作为数据开发的一个作业类型，支持跨集群下发数据迁移作业，实现常用的批作业迁移能力。 相比于传统的依靠CDM集群进行生命周期管理CDM迁移作业，离线处理集成作业依靠数据开发组件的生命周期管理，由数据开发进行集成作业的统一调度和CDM集群资源的统一支配，作业运行可靠性更高、使用体验更佳。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
