检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。 图1 数据调研作业界面 管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接】进入配置页面。
API自动化用例 API自动化测试为将请求直接发送到应用程序的后端或服务,并验证响应内容以确保按预期运行的同时收到响应。 新建API自动化用例 支持用例设计人新建API自动化用例。 新建入口:【API自动化】->【用例管理】->【新建】。 图1 新建API自动化用例 填写用例相关
源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时,最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。
数据报表 包含运维事件中心告警报表、事件报表、事件统计分析报表、事件评分报表。 告警报表 柱状图的横坐标为事件,纵坐标为数量,柱形条的颜色为严重程度,表示某个日期触发的告警数量;下方列表展示各服务下不同紧急程度的告警数量。支持根据项目、服务、最近n天、起止时间来筛选告警。 图1 告警报表
以及目标端的数据中台管理系统。 创建数据连接。 按照公司组织架构,根据对应的连接系统和数据库连接类型管理用户的数据连接,以便完成数据调研以及后续的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源
订单DB:order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB |
基于解决方案工作台进行数据使能项目管理和数据治理实施交付 概述 环境准备 交付项目创建 交付需求分析 交付方案设计 项目实施开发 项目验收管理 项目试运行&结项
订单DB:order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB |
联营方案、先进云软件方案和伙伴Lead方案的应用服务方式指的是什么? 应用服务包括License、SaaS、API、硬件: License类商品是指将服务商提供的部署在华为云基础设施资源(华为云IaaS)上的商用软件(包括镜像、SaaS等)对应的授权许可作为商品,包括商业操作系统、数据库中间件、应用软件等license。
设置sudo用户对应的密码,单击“加密保存”,对密码进行加密保存。 表9 Windows授权参数说明 参数 说明 windows授权别称 自定义windows授权名称。 选择加密密钥 为了保护主机登录密码或密钥安全,请您必须使用加密密钥,以避免登录密码或密钥明文存储和泄露风险。 您可以选择已有的加密密钥,如
时间为周一至周天的整点;发送频次为每月,则发送时间为每月1日至31日的整点。 密件抄送人 选择或输入邮箱地址后点击发送,将会以密送的形式发送到对方邮箱。 邮件接收人 必填。您也可以下拉选择空间成员,只有已经在解决方案工作台空间订阅了邮件的账号才能够接收到周报邮件,没有订阅则不会接
在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。 可靠性要求的安全服务, 比如HSS、Anti-ddos、堡垒机、Waf等
Mapping ETL Mapping用到了数据治理中心DataArts Studio,它是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。解决方案工作台集成DataArts Studio,支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts
用用户线下自建的资源,如图1所示。 如果是某个资源服务需要补充依赖信息,如图2中的服务器,可以在备注里补充说明该服务器的相关依赖。 此外,整个方案架构的技术栈信息,可以在图2的“技术栈信息”中补充,如该方案依赖的Redis、服务器中搭建的某个技术栈。 图1 添加配置备注 图2 资源开通信息
从数据调研导入:若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致,则可从数据调研中选择相应的数据进行导入。例如,通过数据调研,本实践可获取到源端要进行迁移入湖的数据结构,且目标端MRS Hudi(SDI层)与要同步的源端数据结构一致,因此本实践通过“从数据调研导入”的方式新建表。
在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。 可靠性要求的安全服务, 比如HSS、Anti-ddos、堡垒机、Waf等
用例时不知道该提供哪些截图,可以查看参考截图,并结合自己的系统提供对应的截图。 以查看“服务控制测试”的“服务过期约束”这条测试用例的截图参考举例。 首先点击“服务控制测试”--》找到“服务过期约束”这条用例--》“执行”。 图4 执行用例 进入用例执行页面,可以看到“预期结果”下方有“预期结果截图参考”。
数据库集群或主备。使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式/主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。 应用高可用 集群 单可用区
给客户交付数据治理实施和看板建设,参考下表: 表1 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成(云服务清单) 数据建模和数据开发(业务指标设计) 数据底座设计与实施(智慧门店项目现状调研和需求分析、初版DTRB材料) 数据治理 构建智慧门店数据资产
-【执行】,进行执行界面。 前提:已购买云性能测试服务套餐,以便能启动性能自动化工程。 图12 执行性能自动化用例 购买测试服务套餐必须从上图中的链接跳转去购买,购买的区域是北京四。服务部署的区域非北京四是不影响测试的,只要服务可被访问到就行。 操作步骤: 方式一:使用默认规则执行