检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本最佳实践准备的相关资源如下: 表1 资源准备 准备项 资源内容 说明 源端系统连接信息 MySQL数据库 门店基本信息表: store_mgmt.t_user_store_info 订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL
图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源端的两个MySQL连接和目标端的一个MRS Hudi连接。
华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。
本最佳实践准备的相关资源如下: 表2 资源准备 准备项 资源内容 说明 源端系统连接信息 MySQL数据库 门店基本信息表: store_mgmt.t_user_store_info 订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL
华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。
表1 报告复用评估表 类型 版本变化项 说明 是否需重新评估与集成验证 架构 数据库、中间件类型变化 不同数据库、中间件类型的替换,如数据库由RDS for MySQL变为GaussDB for MySQL,中间件由消息队列Kafka变为消息队列RabbitMQ。
物理模型设计 物理模型是对真实数据库的描述,即根据逻辑模型对应到具体的数据模型的机器实现。解决方案工作台支持多种数据库类型的物理模型,支持从逻辑实体新建物理模型表/从文件导入,支持导出文件等。 创建物理模型 架构师进入到对应空间和方案后,选择对应信息架构的物理模型设计。 点击“新建
本实践需要将源端MySQL数据同步至云上MRS(SDI层),本步骤对该目标端进行建模。(目标端为MRS Hudi,在新建物理模型时数据库类型选择“MRS SPARK”即可。) 图17 新建物理模型 进入创建好的物理模型中,新建表。
ETL映射设计 ETL映射设计用于将数据从源系统抽取出来,经过清洗、转换、加载等一系列操作后,将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型
解决方案信息库 解决方案信息库是完整的解决方案信息共享,包含方案信息、架构设计、方案验证、交付项目、在维项目、知识库等。 查找解决方案模板 标准空间的方案可申请发布到加速场,审核通过后即可成为解决方案模板,方案发布可参考发布解决方案模板。 支持输入解决方案模板名称对解决方案模板进行查找
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。 图1 数据调研作业界面 管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接
数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到指定方案下
数据报表 包含运维事件中心告警报表、事件报表、事件统计分析报表、事件评分报表。 告警报表 柱状图的横坐标为事件,纵坐标为数量,柱形条的颜色为严重程度,表示某个日期触发的告警数量;下方列表展示各服务下不同紧急程度的告警数量。支持根据项目、服务、最近n天、起止时间来筛选告警。 图1 告警报表
联营方案、先进云软件方案和伙伴Lead方案的应用服务方式指的是什么? 应用服务包括License、SaaS、API、硬件: License类商品是指将服务商提供的部署在华为云基础设施资源(华为云IaaS)上的商用软件(包括镜像、SaaS等)对应的授权许可作为商品,包括商业操作系统、
使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。
数据实施质量检查 实施质量检查包含数据实例实施过程中的工具,旨在帮助客户在进行数据治理过程中,能够更好地监控实施过程中的质量,包含数据模型设计、源系统和SDI层数据一致性检测、数据平台检测、脚本规范检测、DataArts Studio命名规范检测和作业监控。 表1 实施质量检查功能介绍
使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。
使用解决方案工作台完成标准验证 本节介绍如何使用解决方案工作台快速完成方案验证。 图1 快速完成方案验证流程 前提条件 已参考方案构建完成一个参考架构的设计,该方案状态为“设计完成”; 相关需要操作的人员已添加到工作空间内并拥有“测试工程师”角色,参考添加空间成员。 图2 空间成员角色
图13 修改图元属性 替换图元 已完成连接的图元如果需要替换为其他图元,如RDS替换为RDS for MySQL,可通过替换图元的功能进行替换,替换后该图元相关的连接线将会保持不变。选中图元-鼠标右键-选择替换图元-搜索图元-选择要替换的图元即可。
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项