检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。 图1 数据调研作业界面 管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接】进入配置页面。
数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到
源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时,最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。
数据报表 包含运维事件中心告警报表、事件报表、事件统计分析报表、事件评分报表。 告警报表 柱状图的横坐标为事件,纵坐标为数量,柱形条的颜色为严重程度,表示某个日期触发的告警数量;下方列表展示各服务下不同紧急程度的告警数量。支持根据项目、服务、最近n天、起止时间来筛选告警。 图1 告警报表
以及目标端的数据中台管理系统。 创建数据连接。 按照公司组织架构,根据对应的连接系统和数据库连接类型管理用户的数据连接,以便完成数据调研以及后续的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源
order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:store_mgmt、dwi_store_mgmt
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项
订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:store_mgmt、dwi_store_mgmt
新版本上线会对原来的数据产生影响吗? 不会影响。如果发现数据有受到影响的请联系解决方案工作台客服。 父主题: 其他
在工作空间邀请其他企业的用户加入工作空间时,提示用户查询失败? 请确认该用户是否为解决方案工作台用户,仅允许邀请解决方案工作台用户。请参考怎么注册成为解决方案工作台用户?,成为解决方案工作台用户后即可邀请。 请检查输入信息是否正确,建议填写用户【我的凭证】的账号名和IAM用户名信
从数据调研导入:若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致,则可从数据调研中选择相应的数据进行导入。例如,通过数据调研,本实践可获取到源端要进行迁移入湖的数据结构,且目标端MRS Hudi(SDI层)与要同步的源端数据结构一致,因此本实践通过“从数据调研导入”的方式新建表。
给客户交付数据治理实施和看板建设,参考下表: 表1 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成(云服务清单) 数据建模和数据开发(业务指标设计) 数据底座设计与实施(智慧门店项目现状调研和需求分析、初版DTRB材料) 数据治理 构建智慧门店数据资产
点击【报告预览】,查看用例执行情况。 图9 报告生成入口 在报告预览页面,可查看该项目验收用例的测试结果、问题闭环情况和用例清单等内容,可在“项目总结”输入框输入总结信息并点击【生成验收文档】按钮,解决方案工作台将会自动生成相关验收文档,用户可下载文档到本地查看。 项目报告:.d
概述 背景 某数据使能解决方案中的智慧门店交付场景,需要将客户线下的源数据采集到云上、分析处理后展示到大屏上。本最佳实践基于该项目背景,通过解决方案工作台交付中心对该项目进行项目管理、方案设计、数据调研、数据实施治理等,助力项目交付降本增效。 图1 智慧门店项目背景 流程介绍 项
华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。 可靠性要求的安全服务,
ETL映射设计用于将数据从源系统抽取出来,经过清洗、转换、加载等一系列操作后,将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型 支持DWS
华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。 可靠性要求的安全服务,
图1 交付项目创建 表1 注册项目参数说明 参数 说明 交付场景 必填。下拉选择项目的交付场景,标识交付项目的类型,包含数据使能、迁移上云和解决方案。本实践选择“数据使能”场景。 项目名称 必填。自定义项目名称。 所属行业 必填。下拉选择该项目的所属行业,支持多选。 所属产业 非必填
com申请加入该空间,申请主题:交付空间最佳实践体验;申请账号:请提供体验使用的账号名&用户名。 父主题: 基于解决方案工作台进行数据使能项目管理和数据治理实施交付
对于探源到的数据,可将需要的数据配置生成入湖清单,后续基于入湖清单可直接生成CDM迁移作业。 新增入湖清单 新增入湖清单 图1 新增入湖清单 编辑入湖清单。支持批量入湖清单的更新方式、入湖方式等属性。 图2 编辑入湖清单 设置完成后确认导入并且查看导入结果 图3 查看结果 父主题: