检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。 图1 数据调研作业界面 管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接】进入配置页面。
以及目标端的数据中台管理系统。 创建数据连接。 按照公司组织架构,根据对应的连接系统和数据库连接类型管理用户的数据连接,以便完成数据调研以及后续的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项
数据报表 包含运维事件中心告警报表、事件报表、事件统计分析报表、事件评分报表。 告警报表 柱状图的横坐标为事件,纵坐标为数量,柱形条的颜色为严重程度,表示某个日期触发的告警数量;下方列表展示各服务下不同紧急程度的告警数量。支持根据项目、服务、最近n天、起止时间来筛选告警。 图1 告警报表
从数据调研导入:若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致,则可从数据调研中选择相应的数据进行导入。例如,通过数据调研,本实践可获取到源端要进行迁移入湖的数据结构,且目标端MRS Hudi(SDI层)与要同步的源端数据结构一致,因此本实践通过“从数据调研导入”的方式新建表。
新版本上线会对原来的数据产生影响吗? 不会影响。如果发现数据有受到影响的请联系解决方案工作台客服。 父主题: 其他
数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到
源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时,最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。
给客户交付数据治理实施和看板建设,参考下表: 表1 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成(云服务清单) 数据建模和数据开发(业务指标设计) 数据底座设计与实施(智慧门店项目现状调研和需求分析、初版DTRB材料) 数据治理 构建智慧门店数据资产
致命:系统不可用,造成系统或应用程序崩溃、死机、系统挂起,或造成数据丢失,主要功能完全丧失,导致本模块或相关模块异常等,如代码错误、死循环、数据库发生死锁、与数据库连接错误或通讯错误,未考虑异常操作,功能错误等; 严重:业务阻塞,系统主要功能部分丧失、业务阻塞,数据不能保存,系统的次要功能完全丧失,问题局
概述 背景 某数据使能解决方案中的智慧门店交付场景,需要将客户线下的源数据采集到云上、分析处理后展示到大屏上。本最佳实践基于该项目背景,通过解决方案工作台交付中心对该项目进行项目管理、方案设计、数据调研、数据实施治理等,助力项目交付降本增效。 图1 智慧门店项目背景 流程介绍 项
工具&示例代码的使用场景填写示例 图6 使用场景架构图示例 填写工具&示例代码常见问题 按需填写工具/示例代码常见问题和答案,帮助使用的用户快速使用该工具/示例代码。可添加多条问题&答案。 图7 工具&示例代码常见问题 确认前面填写的工具/示例代码基本信息、详情、使用场景、常见问题内容准确无误
可靠性要求项 中 高 说明 数据高可用 (必选) 分布式 √ 数据库集群或主备。使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。
图1 交付项目创建 表1 注册项目参数说明 参数 说明 交付场景 必填。下拉选择项目的交付场景,标识交付项目的类型,包含数据使能、迁移上云和解决方案。本实践选择“数据使能”场景。 项目名称 必填。自定义项目名称。 所属行业 必填。下拉选择该项目的所属行业,支持多选。 所属产业 非必填
务使用截图 3)用例流程中,体现业务流、数据流的连通性验证 沃土云创认证测试主要包含功能、集成验证方面测试内容,伙伴作为测试主体,华为方进行测试支撑及测试结果审核。 认证测试基于”开发者中心”和“解决方案工作台”联合操作完成,点击平台开发者中心和解决方案工作台访问,建议使用Chr
tore_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2 为了批量自动获取客户源端系统的数据结构,可使用解决方案工作台的探源工具进行数据探源,因此需要准备好可运行该探
项目验收管理 项目验收人员(本最佳实践中设置为实施开发工程师“解决方案工作台Trial_TE”负责)设计项目验收用例并对验收过程中的问题进行管理。如,本项目中在需求分析时要求交付的需求类型为:数据平台、数据治理、交付件,即,针对这三个交付需求,可分别进行验收用例设计和执行,验证是否满足项目交付需求。
com申请加入该空间,申请主题:交付空间最佳实践体验;申请账号:请提供体验使用的账号名&用户名。 父主题: 基于解决方案工作台进行数据使能项目管理和数据治理实施交付
用户指南。 快速入门:解决方案工作台快速入门指导,通过简单的案例快速了解解决方案工作台的使用。 常见问题:主要是多数用户在使用中的常见问题及解决方法。选择对应中心之后跳转到解决方案工作台文档中的常见问题。 最佳实践:预置了基于解决方案工作台快速完成方案验证的最佳实践,如基于解决方
支持按来源(系统、卖家中心、开发者中心),按最后访问时间筛选空间 -- 2 交付中心 支持基于入湖清单生成数据字典 支持基于入湖清单生成数据字典。数据字典可分解词根词条,并支持根据词根词条生成标准化的名称 -- 支持查看数据使能交付全景图 数据使能空间类型中,支持在空间管理处查看数据使能交付全景图