检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新版本上线会对原来的数据产生影响吗? 不会影响。如果发现数据有受到影响的请联系解决方案工作台客服。 父主题: 公共模块
源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时,最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。
右纵坐标为时间(分钟); 柱形条的不同颜色代表不同的处理阶严重程度的事件; 紫色折线表示事件的平均响应时长,绿色折线表示事件的平均处理时长。 下方的列表展示统计时间段内各项目的各服务所分配的事件数、完成事件数、评价响应时长、评价处理时长、完成率、SLA达标率; 支持按照项目、服务、最近n天、起止时间过滤事件。
在工作空间邀请其他企业的用户加入工作空间时,提示用户查询失败? 可能的原因一: 仅允许邀请解决方案工作台用户,否则会查询失败,即需要登录过解决方案工作台或者被企业管理员添加为解决方案工作台用户,操作请参考怎么注册成为解决方案工作台用户?,成为解决方案工作台用户后即可邀请。 可能的原因二: 输
properties的规则进行数据调研,获取指定数据库的数据结构。更多说明,请参考探源工具示例代码中的指导。 探源工具通过查询指定数据库的系统表获取相关信息,对数据库压力较小,但为了保证不影响业务,建议将探源工具的定时任务设置在凌晨等压力较小的时间段进行。 查看监控对象数据调研结果。 数
数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到
对验收过程中的问题进行管理。如,本项目中在需求分析时要求交付的需求类型为:数据平台、数据治理、交付件,即,针对这三个交付需求,可分别进行验收用例设计和执行,验证是否满足项目交付需求。 验收用例设计 测试工程师在交付空间左侧导航栏选择“交付中心-用例管理”,选择相应的项目需求后点击
支持DWS、MRS_HIVE、MRS_SPARK,与物理模型数据类型一致 映射方式 INSERT:插入数据 MERGE:加载数据时,插入目标表中不存在的数据,更新目标表中存在的数据 源模型 需要进行ETL映射的源端物理模型,需要在物理模型设计中先完成设计 目标模型 需要进行ETL映射的目标端物理模型,需要在物理模型设计中先完成设计
查看团队看板 对于项目的效率、人员组织、项目需求等总体评价。 项目的项目周期、交付团队人数、计划偏移率、人效利用率、整体项效比(鼠标放在名称上会显示解释说明)。 历史工作项累计流图,显示未开始、进行中、已完成的工作项数量随时间的变化(例如下图中表示有2个未开始工作项变为1个进行中
对于探源到的数据,可将需要的数据配置生成入湖清单,后续基于入湖清单可直接生成CDM迁移作业。 新增入湖清单 新增入湖清单 图1 新增入湖清单 编辑入湖清单。支持批量入湖清单的更新方式、入湖方式等属性。 图2 编辑入湖清单 设置完成后确认导入并且查看导入结果 图3 查看结果 父主题:
如上图所示,创建了三个应用系统,分别表示源端的门店和订单系统、以及目标端的数据中台管理系统。 创建数据连接。 按照公司组织架构,根据对应的连接系统和数据库连接类型管理用户的数据连接,以便完成数据调研以及后续的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示
order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:store_mgmt、dwi_store_mgmt
订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:store_mgmt、dwi_store_mgmt
项目需要交付的内容,以便后续进行相应的实施交付。基于SOW,本实践需要给客户交付数据治理实施和看板建设,参考下表: 表1 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成(云服务清单) 数据建模和数据开发(业务指标设计) 数据底座设计与实施
当业务发生中断后,将业务恢复到正常所需要的时间,如灾难发生在下午14点且RTO是2小时,灾备系统要在下午16点前将业务恢复到可接受的服务级别。 可接受的数据丢失量,如灾难发生在下午14点且RPO是2小时,则业务丢失的数据量是在2小时内(12-14点之间)产生的数据。 认证测试的可靠性要求按照部署形式分为
交审核的操作指导点击跳转“提交审核”。 图10 查看配置好的资源清单 云服务资源清单配置要求 为了不造成资源的浪费,在保证系统能正常运行的前提下,云服务的规格应当尽量选择低一点的配置。 云服务资源清单的种类、数量需要和架构图中云服务的种类、数量保持一致,通过“图形化配置”的方式,可以保障该要求完成。
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项
交审核的操作指导点击跳转“提交审核”。 图12 查看配置好的资源清单 云服务资源清单配置要求 为了不造成资源的浪费,在保证系统能正常运行的前提下,云服务的规格应当尽量选择低一点的配置。 云服务资源清单的种类、数量需要和架构图中云服务的种类、数量保持一致,通过“图形化配置”的方式,可以保障该要求完成。
将自动创建对应的物理模型表; 从数据调研导入:若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致,则可从数据调研中选择相应的数据进行导入。例如,通过数据调研,本实践可获取到源端要进行迁移入湖的数据结构,且目标端MRS Hudi(SDI层)与要同步的源端数据结构一致,因此
概述 背景 某数据使能解决方案中的智慧门店交付场景,需要将客户线下的源数据采集到云上、分析处理后展示到大屏上。本最佳实践基于该项目背景,通过解决方案工作台交付中心对该项目进行项目管理、方案设计、数据调研、数据实施治理等,助力项目交付降本增效。 图1 智慧门店项目背景 流程介绍 项