检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可靠性要求项 中 高 说明 数据高可用 (必选) 分布式 √ 数据库集群或主备。使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。
源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时,最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。 图1 数据调研作业界面 管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接】进入配置页面。
数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到
数据报表 包含运维事件中心告警报表、事件报表、事件统计分析报表、事件评分报表。 告警报表 柱状图的横坐标为事件,纵坐标为数量,柱形条的颜色为严重程度,表示某个日期触发的告警数量;下方列表展示各服务下不同紧急程度的告警数量。支持根据项目、服务、最近n天、起止时间来筛选告警。 图1 告警报表
“解决方案工作台Trial_TE”负责)设计项目验收用例并对验收过程中的问题进行管理。如,本项目中在需求分析时要求交付的需求类型为:数据平台、数据治理、交付件,即,针对这三个交付需求,可分别进行验收用例设计和执行,验证是否满足项目交付需求。 验收用例设计 测试工程师在交付空间左侧
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项
ETL Mapping ETL Mapping用到了数据治理中心DataArts Studio,它是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。解决方案工作台集成DataArts Studio,支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts
订单DB:order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs
以及目标端的数据中台管理系统。 创建数据连接。 按照公司组织架构,根据对应的连接系统和数据库连接类型管理用户的数据连接,以便完成数据调研以及后续的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源
给客户交付数据治理实施和看板建设,参考下表: 表1 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成(云服务清单) 数据建模和数据开发(业务指标设计) 数据底座设计与实施(智慧门店项目现状调研和需求分析、初版DTRB材料) 数据治理 构建智慧门店数据资产
从数据调研导入:若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致,则可从数据调研中选择相应的数据进行导入。例如,通过数据调研,本实践可获取到源端要进行迁移入湖的数据结构,且目标端MRS Hudi(SDI层)与要同步的源端数据结构一致,因此本实践通过“从数据调研导入”的方式新建表。
与其他云服务的关系 IAM 统一身份认证(Identity and Access Management,简称IAM)是华为云提供权限管理的基础服务,可以帮助您安全地控制云服务和资源的访问权限,详细介绍请参考IAM介绍。 解决方案工作台使用华为云的IAM用户体系。 CodeArts
若采用“自动部署”的形式,自动部署当前仅支持部分云服务的购买,不支持购买的云服务需要您手动购买。 云服务全部购买完成后,需要使用购买的云服务手动搭建测试环境。 手动部署开通测试资源 选择手动部署的方式开通测试资源,需要您按照申请的云服务的规格配置,手动去华为云控制台选择购买好云资源后,手动搭建测试环境。
订单DB:order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs
新版本上线会对原来的数据产生影响吗? 不会影响。如果发现数据有受到影响的请联系解决方案工作台客服。 父主题: 其他
数据入湖作业自动生成 对于调研到的数据,可将需要的数据配置生成入湖清单,基于入湖清单批量生成CDM作业。 数据治理实施质量检查 在进行数据治理过程中监控实施质量,包含数据模型设计、源系统和SDI层数据一致性检测、脚本规范检测、DataArts Studio命名规范检测和作业监控等。 基础设施部署作业
用认证目录, 如果应用集成了高阶云服务,则可以选择【申请华为认证】 如果应用中存在鲲鹏规格的云服务,则可以选择【鲲鹏认证】 图1 申请认证 填写信息 应用列表选择对应应用 选择认证类型 选择认证平台,根据平台的部署环境选择公有云或者hcs,如果平台使用了华为云GaussDB服务,则可以选择华为云GaussDB
3)抽测用例需要有主场景的端到端场景测试用例 集成测试 1)选取3-5个实例化场景体现伙伴业务系统与华为云服务集成 2)覆盖所有集成的高阶云服务,提供华为云服务使用截图 3)用例流程中,体现业务流、数据流的连通性验证 沃土云创认证测试主要包含功能、集成验证方面测试内容,伙伴作为测试主体,华为方进行测试支撑及测试结果审核。
不复用报告-测试需求标签页流程指导 进入“测试需求”的页面,页面自动弹出“向导式需求与用例生成”的弹窗,按照弹窗的第一步操作“生成可靠性用例”。 高阶云服务:系统会自动识别架构图中使用到的高阶云服务,您也可以点击下拉框手动勾选(一般无需手动勾选)。 自建服务:需要手动点击下拉框,根据您的=架构图的实际部署情况,勾