检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密码:数据库的访问密码,创建DWS集群时指定的密码。 图2 DWS连接配置参数 DWS连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面 创建DWS数据库和数据库模式。 在数据开发界面,在DWS连接上右键单击,选择“新建数据库”,创建一个数据库用于存放数据表,数据库名称为“demo”。
单击标签后的“编辑”,可修改标签描述。 标识数据:添加标签 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据地图 > 数据目录”,并进入“技术资产”页签。 在资产搜索输入框输入需要添加标签的数据的关键字,然后单击“搜索”,搜索结果以列表方式显示。
审计数据访问日志 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录,包括时间、用户、操作对象、操作类型等信息。通过这些日志,可以快速进行数据操作审计,更好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计,需要满足如下条件: MRS Hi
数据架构API概览 表1 数据架构API类型 类型 说明 概览 概览接口。 信息架构接口 信息架构接口。 数据标准接口 数据标准接口 数据源接口 数据源接口。 码表管理接口 码表管理接口。 流程架构接口 流程架构接口。 数据标准模板接口 数据标准模板接口。 审批管理接口 审批管理接口。
支持的数据类型 配置字段映射时,数据源支持的数据类型请参见表1,以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
选择全部,单击右键,可新建目录、重命名目录和删除目录。 新建规则 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数
离线处理集成作业概述 离线处理集成作业作为数据开发的一个作业类型,支持跨集群下发数据迁移作业,实现常用的批作业迁移能力。 相比于传统的依靠CDM集群进行生命周期管理CDM迁移作业,离线处理集成作业依靠数据开发组件的生命周期管理,由数据开发进行集成作业的统一调度和CDM集群资源的统
密码:Kerberos认证用户对应的密码。 图2 创建MRS Hive数据连接 创建数据库 根据数据湖治理落地流程,建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库,从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念,此处先简单了解即可,在数据架构时将深入了解与操作。 SDI (Source
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config
业务场景用于监控业务指标。本例以新建一个业务场景为例,介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”,如下图所示。 单击“试跑”,查看试跑运行成功的结果。
删除数据标准模板 功能介绍 删除数据标准模板。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/standards/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
血缘信息接口 元数据采集任务接口 元数据采集任务接口 数据地图接口 数据地图接口 对应类型的所有API共享100次/s的API流量限制 对应类型的所有API共享50次/s的用户流量限制 业务资产接口 表2 业务资产接口 API 说明 查询业务资产 查询业务资产,包含数据规范同步过来的业务对象和逻辑实体。
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。未配置密级权限管控策略时,数据安全会预置一条默认策略,该策略默认给所有用户最大的密级访问权限;在管理员将策略配置好后,可删除此默认策略。 前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。
关联属性与数据标准 功能介绍 关联属性与数据标准。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/attribute 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
数据地图接口 元数据实时同步接口(邀测) 搜索查询标签分页展示(邀测) 用户行为分析(邀测) 资产搜索(邀测) 创建或修改资产(邀测) 资产详情(邀测) 资产血缘(邀测) 批量血缘(邀测) 表关联作业算子列表(邀测) 产出信息(邀测) 父主题: 数据目录API
QL中的原始样例数据需要导入OBS中,并标准化为点数据集和边数据集。 MySQL到MRS Hive迁移作业:正式业务流程中,需要将MySQL中的原始样例数据需要导入MRS Hive中,并标准化为点数据集和边数据集。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向
套餐包计费情况以实际费用为准。 数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专
Boolean 是否禁用。 id 否 String 数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean