检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖工厂
CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。
Mysql Local模式详情请参见：https://dev.mysql.com/doc/refman/8.0/en/load-data.html linkConfig.isRds 否 Boolean 是否支持RDS服务，云数据库默认true，其余默认false linkConfig.useSSL
数据安全简介 在已上线数据安全组件的区域，数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力
查看工作空间数据地图 查看工作空间内的数据资产 查看资产总览 查看数据资产 管理资产标签 父主题： 数据目录
查看数据血缘 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业
表1 连接参数分类 连接器类型 参数说明 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 由于关系型数据库所采用的JDBC驱动相同，所以连接参数也一样，具体参数请参见PostgreSQL/SQLServer
数据权限简介 为确保数据使用安全可控，使用数据表需要先申请权限。 数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示
数据服务简介 DataArts Studio数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力，涵盖API发布、管理、运维的全生命周期管理，帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成
不支持 不支持 不支持 PostgreSQL数据库迁移时支持的数据类型 源端为PostgreSQL数据库，目的端为Hive、DWS、DLI时，支持的数据类型如下： 表5 PostgreSQL数据库作为源端时支持的数据类型 类别 类型 简要释义 Hive DWS DLI 字符 char
数据质量 业务指标监控（待下线） 数据质量监控 使用教程
步骤3：数据开发处理 本步骤通过电影信息和评分信息的原始数据，分析评分最高的Top10电影和最活跃的Top10电影，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 创建DWS SQL脚本top_rating_movie（用于存放评分最高的Top10电影） 评分最高
查看资产总览 通过总览，可以查看资产总览及资产报告。 资产总览可展示业务资产、技术资产和指标资产的情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表，资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务，资产总览展示数据库
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示： 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考，同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”；数据标准为主数据管理提供主数据定义的基准，数据标准也是数据质量管理策略设计
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后，您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成，请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据目录
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题： 数据目录
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业，将MySQL原始数据定期同步到OBS和MRS Hive中，并标准化为GES点/边数据集。
数据安全概述 数据安全以数据为中心，基于数据动态流动场景，构建全链路数据湖安全的解决方案，全方位保障数据湖安全，以此满足不同角色（如数据开发工程师，数据安全管理员，数据安全审计员和数据安全运营人员）对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资源主体
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2
DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务，也支持对接如MySQL、Oracle等传统数据库，支持程度各有不同，详情请参见DataArts Studio支持的数据源章节。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
