检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。
什么是数据血缘关系? 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关
方案设计 操作流程如下: 实时数据导入:通过数据接入服务(DIS)将数据中心的告警数据实时导入到数据湖探索(DLI)。 数据清洗和预处理:DLI对告警数据进行数据清洗和预处理。 发送告警消息:当告警级别超过指定值时向用户发送短信。 数据导出和存储:清洗过的数据进入DIS通道,DIS根据导入时间将告警数据按日期存放到OBS。
图解数据治理中心DataArts Studio
deleteCodeTable 查看数据标准 DAYU_DS dsStandardElement getListStandardElement 创建数据标准 DAYU_DS dsStandardElement createStandardElement 更新数据标准 DAYU_DS dsStandardElement
关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
数据目录支持采集哪些对象的资产? 数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS
DLMRequestRecord getAppsTop 查询api 统计数据详情 DLMRequestRecord getApisDetail 查询app 统计数据详情 DLMRequestRecord getAppsDetail 查询api 仪表板数据详情 DLMRequestRecord getApisDashboard
Studio实例,提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量计算的,您可以在新商业模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量。当您的数据模型数量接近或达到该规格时,建议购买数据模型数量增量包,以避免新建数据模型受限。
元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数据,关联业务和技术元数据、全链路的血缘管理和应用。 图5 全链路数据血缘 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用
数据调研 流程设计 主题设计 逻辑模型 父主题: 数据架构
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题: 管理中心API
数据架构 数据架构概述 数据架构使用流程 添加审核人 数据调研 标准设计 模型设计 指标设计 通用操作 使用教程
数据指标 数据指标概述 指标设计 指标开发 审核中心 配置中心 数据指标应用
CARBON类型。 如果原始数据表存储格式不满足要求,您可以通过CDM将原始数据直接导入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。
数据架构支持逆向数据库吗? 问题描述 数据架构是否支持逆向数据库。 解决方案 数据架构支持逆向数据库。 父主题: 数据架构
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据,让各类各组之间属于并列、平等并且互相排斥的关系,使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts
定义数据密级 为了方便对数据进行管理,在对数据进行操作前,需要您为数据定义密级,并对保密等级做相应的描述,例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数
SQL脚本先创建和开发脚本。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数,
or pause怎么办? 如何创建数据库和数据表,数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示? 在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 如何创建通知配置对全量作业都进行结果监控? 数据开发的并行执行节点数是多少? DataArts