检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。
查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到指定方案下,基于引用的模型二次编辑,快速完成信息架构设计。
数据报表 包含运维事件中心告警报表、事件报表、事件统计分析报表、事件评分报表。 告警报表 柱状图的横坐标为事件,纵坐标为数量,柱形条的颜色为严重程度,表示某个日期触发的告警数量;下方列表展示各服务下不同紧急程度的告警数量。支持根据项目、服务、最近n天、起止时间来筛选告警。
数据实施质量检查 实施质量检查包含数据实例实施过程中的工具,旨在帮助客户在进行数据治理过程中,能够更好地监控实施过程中的质量,包含数据模型设计、源系统和SDI层数据一致性检测、数据平台检测、脚本规范检测、DataArts Studio命名规范检测和作业监控。
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项
新版本上线会对原来的数据产生影响吗? 不会影响。如果发现数据有受到影响的请联系解决方案工作台客服。 父主题: 其他
概述 背景 某数据使能解决方案中的智慧门店交付场景,需要将客户线下的源数据采集到云上、分析处理后展示到大屏上。本最佳实践基于该项目背景,通过解决方案工作台交付中心对该项目进行项目管理、方案设计、数据调研、数据实施治理等,助力项目交付降本增效。
其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。
父主题: 基于解决方案工作台进行数据使能项目管理和数据治理实施交付
图23 新建DWI层的物理模型 图24 从SDI层导入表 图25 DWI层物理模型表 SDI为贴源层数据,与源端系统数据结构一致;DWI为数据整合层,存储经过数据整合、清洗后的数据。
图14 报告审核状态 父主题: 基于解决方案工作台进行数据使能项目管理和数据治理实施交付
基于SOW,本实践需要给客户交付数据治理实施和看板建设,参考下表: 表1 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成(云服务清单) 数据建模和数据开发(业务指标设计) 数据底座设计与实施(智慧门店项目现状调研和需求分析、初版DTRB材料
解决方案工作台支持使用调研工具对源系统进行数据调研,支持配置数据调研规则,包含DB、表信息等采集周期和具体时间,若未配置,则按默认规则进行数据采集。 DB采集:配置数据库采集时间,如:数据库类型,数据库表数,数据总量,采集时间。 表信息采集:配置表的采集时间。
父主题: 基于解决方案工作台进行数据使能项目管理和数据治理实施交付
背景 某数据使能解决方案中的智慧门店交付场景,需要将客户线下的源数据采集到云上、分析处理后展示到大屏上。本最佳实践基于该项目背景,通过解决方案工作台交付中心对该项目进行项目管理、方案设计、数据调研、数据实施治理等,助力项目交付降本增效。 图1 智慧门店项目背景 父主题: 概述
从数据调研导入 如果前期已在数据调研作业中完成了数据调研,则支持从数据调研导入。本功能仅支持交付空间的信息架构设计使用且仅SDI层支持从数据调研导入。 在物理模型的列表界面选择导入,从数据调研导入,选择数据调研的监控对象,选择确认导入。
ETL Mapping ETL Mapping用到了数据治理中心DataArts Studio,它是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。
其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。
新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型 支持DWS、MRS_HIVE、MRS_SPARK,与物理模型数据类型一致 映射方式 INSERT:插入数据 MERGE:加载数据时,插入目标表中不存在的数据,更新目标表中存在的数据 源模型 需要进行
图5 一键同步作业 要同步CDM作业,请确保CDM集群实例中有相应的数据连接且数据连接名称与解决方案工作台上的数据连接名称相同。 您可以点击【更多】-【同步历史】,查看同步结果。 图6 查看同步历史 您也可以进入CDM集群中查看作业并运行作业。