检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时,最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。
可靠性要求项 中 高 说明 数据高可用 (必选) 分布式 √ 数据库集群或主备。使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。 图1 数据调研作业界面 管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接】进入配置页面。
数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到
ETL Mapping ETL Mapping用到了数据治理中心DataArts Studio,它是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。解决方案工作台集成DataArts Studio,支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts
“解决方案工作台Trial_TE”负责)设计项目验收用例并对验收过程中的问题进行管理。如,本项目中在需求分析时要求交付的需求类型为:数据平台、数据治理、交付件,即,针对这三个交付需求,可分别进行验收用例设计和执行,验证是否满足项目交付需求。 验收用例设计 测试工程师在交付空间左侧
下方对应的操作指引跳转查看。 手动部署(包含“手动部署(图形化模式)”):开通测试资源的方式可点击“手动部署开通测试资源”查看。 自动部署(CAM):当前仅支持华为公有云下华南广州区域的自动部署,开通测试资源的方式可点击“自动部署(CAM)开通测试资源”查看。 自动部署(RFS)
给客户交付数据治理实施和看板建设,参考下表: 表1 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成(云服务清单) 数据建模和数据开发(业务指标设计) 数据底座设计与实施(智慧门店项目现状调研和需求分析、初版DTRB材料) 数据治理 构建智慧门店数据资产
数据报表 包含运维事件中心告警报表、事件报表、事件统计分析报表、事件评分报表。 告警报表 柱状图的横坐标为事件,纵坐标为数量,柱形条的颜色为严重程度,表示某个日期触发的告警数量;下方列表展示各服务下不同紧急程度的告警数量。支持根据项目、服务、最近n天、起止时间来筛选告警。 图1 告警报表
以及目标端的数据中台管理系统。 创建数据连接。 按照公司组织架构,根据对应的连接系统和数据库连接类型管理用户的数据连接,以便完成数据调研以及后续的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源
'xxx'占位数据,生成适合您本次认证的方案的集成用例。(如您暂时不知道如何修改,也可先不处理,等到执行测试用例的时候再编辑修改) 确认无误后点击“确认”。 图6 测试需求-生成集用例 以上步骤都完成后,“解决方案工作台”会自动生成测试需求,您可以往下滑动鼠标查看生成的测试需求。
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项
数据入湖作业自动生成 对于调研到的数据,可将需要的数据配置生成入湖清单,基于入湖清单批量生成CDM作业。 数据治理实施质量检查 在进行数据治理过程中监控实施质量,包含数据模型设计、源系统和SDI层数据一致性检测、脚本规范检测、DataArts Studio命名规范检测和作业监控等。 基础设施部署作业
新版本上线会对原来的数据产生影响吗? 不会影响。如果发现数据有受到影响的请联系解决方案工作台客服。 父主题: 其他
致命:系统不可用,造成系统或应用程序崩溃、死机、系统挂起,或造成数据丢失,主要功能完全丧失,导致本模块或相关模块异常等,如代码错误、死循环、数据库发生死锁、与数据库连接错误或通讯错误,未考虑异常操作,功能错误等; 严重:业务阻塞,系统主要功能部分丧失、业务阻塞,数据不能保存,系统的次要功能完全丧失,问题局
order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:store_mgmt、dwi_store_mgmt
从数据调研导入:若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致,则可从数据调研中选择相应的数据进行导入。例如,通过数据调研,本实践可获取到源端要进行迁移入湖的数据结构,且目标端MRS Hudi(SDI层)与要同步的源端数据结构一致,因此本实践通过“从数据调研导入”的方式新建表。
概述 背景 某数据使能解决方案中的智慧门店交付场景,需要将客户线下的源数据采集到云上、分析处理后展示到大屏上。本最佳实践基于该项目背景,通过解决方案工作台交付中心对该项目进行项目管理、方案设计、数据调研、数据实施治理等,助力项目交付降本增效。 图1 智慧门店项目背景 流程介绍 项
对于探源到的数据,可将需要的数据配置生成入湖清单,后续基于入湖清单可直接生成CDM迁移作业。 新增入湖清单 新增入湖清单 图1 新增入湖清单 编辑入湖清单。支持批量入湖清单的更新方式、入湖方式等属性。 图2 编辑入湖清单 设置完成后确认导入并且查看导入结果 图3 查看结果 父主题:
购买套餐 解决方案工作台将于2023年09月开启公测。开启公测后,您需要购买相应的套餐,以便使用解决方案工作台进行方案全生命周期管理。详细计费规则可查看计费说明。 约束与限制 基础版免费使用,包含基础能力;如果需使用全功能,则还需要购买相应的增强包。例如,需要使用解决方案工作台进