检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务指标设计 业务指标设计用户定义和计算数据仓库中的业务指标。支持导入DataArts Studio的业务指标文件。 新建业务指标 架构师进入到对应空间和方案后,选择对应信息架构的业务指标设计,选择DataArts Studio的Region、实例和空间,点击确定后将会自动跳转到
据模型的层进行开头命名的,如: 贴源层命名:ods/sdi_业务名 维表命名:dim_{domain/subject} 主题层 dwi_{domain/suject}_(business_info)_[suffix] 、domain/suject:多为业务主题域 明细层:dwr_
ETL映射设计用于将数据从源系统抽取出来,经过清洗、转换、加载等一系列操作后,将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型 支持DWS、M
从数据调研导入 从SDI层导入 DWI层物理模型支持从SDI层导入数据,前提:DWI层的数据库类型和SDI层数据库类型一致。 在物理模型的列表界面选择导入,从SDI层导入,选择源分层、需要导入的物理模型,可选择是否导入关系和布局图形以及全部导入或导入部分表。 图5 从SDI层导入 从DataArts
图22 物理模型表 按照上述步骤,创建DWI层的物理模型和表对象,支持从SDI层导入表。 图23 新建DWI层的物理模型 图24 从SDI层导入表 图25 DWI层物理模型表 SDI为贴源层数据,与源端系统数据结构一致;DWI为数据整合层,存储经过数据整合、清洗后的数据。本实践为目标端系统MRS
ECS,反之亦然。 是 架构新增或删除核心服务组件 系统架构新增、删除与业务功能,业务流程处理相关的核心服务组件,如新增数据库、MRS、数据仓库、DCS等云服务;在原部署架构基础上增加新的开源应用组件、中间件等组件模块。如只是新增、删除与功能无关,只涉及安全、运维辅助性云服务(C
L3业务对象的数据owner部门和描述为必填项,L1和L2为非必填项。 数据owner人员展示该空间下的所有人员,也可以手动输入owner人员名称。 左侧列表页选中某一层级后只展示下一层级所有数据,选中L3业务对象展示该业务对象基本信息。 从文件导入 架构设计师进入到对应空间和方案后,选择对应信息架构的主题设计。 点
本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2
本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2
表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。 DGC命名规范检测 作业命名 节点命名 脚本命名 环境变量命名 数据连接命名 DGC是数据治理中心,