检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研作业 数据调研作业是通过源端agent数据探源包,通过配置相应的探源规则,对待集成的源端系统数据进行探源,方便用户快速获取到要进行数据实施的源系统数据结构,且支持基于探源结果生成入湖清单。 图1 数据调研作业界面 管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接】进入配置页面。
源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时,最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化,否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂,依赖于源系统和网络,因此在监控检测源系统和数据湖的SDI层的数据一致性,可以快速给问题定界定位。
以及目标端的数据中台管理系统。 创建数据连接。 按照公司组织架构,根据对应的连接系统和数据库连接类型管理用户的数据连接,以便完成数据调研以及后续的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源
订单DB:order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB |
”。 华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。
资源,如图1所示。 如果是某个资源服务需要补充依赖信息,如图2中的服务器,可以在备注里补充说明该服务器的相关依赖。 此外,整个方案架构的技术栈信息,可以在图2的“技术栈信息”中补充,如该方案依赖的Redis、服务器中搭建的某个技术栈。 图1 添加配置备注 图2 资源开通信息 父主题:
华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。 可靠性要求的安全服务,
订单DB:order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB |
图1 交付项目创建 表1 注册项目参数说明 参数 说明 交付场景 必填。下拉选择项目的交付场景,标识交付项目的类型,包含数据使能、迁移上云和解决方案。本实践选择“数据使能”场景。 项目名称 必填。自定义项目名称。 所属行业 必填。下拉选择该项目的所属行业,支持多选。 所属产业 非必填
性伸缩的云服务器。 登录云服务器 什么是ECS 创建容器应用基本流程 初始化数据盘 什么是ECS 创建容器应用基本流程 05 实践 弹性云服务器(Elastic Cloud Server)是一种可随时自动获取、计算能力可弹性伸缩的云服务器。 部署web环境 什么是ECS 创建容器应用基本流程
可靠性要求项 中 高 说明 数据高可用 (必选) 分布式 √ 数据库集群或主备。使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。
可靠性要求项 中 高 说明 数据高可用 (必选) 分布式 √ 数据库集群或主备。使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。
从数据调研导入:若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致,则可从数据调研中选择相应的数据进行导入。例如,通过数据调研,本实践可获取到源端要进行迁移入湖的数据结构,且目标端MRS Hudi(SDI层)与要同步的源端数据结构一致,因此本实践通过“从数据调研导入”的方式新建表。
该问题是在哪个用例下发现的。 工单号 如需新建云服务问题,可按照提示中的链接创建工单咨询后再新建。 严重程度 致命:系统不可用,造成系统或应用程序崩溃、死机、系统挂起,或造成数据丢失,主要功能完全丧失,导致本模块或相关模块异常等,如代码错误、死循环、数据库发生死锁、与数据库连接错误或通讯错误,未考虑异常操作,功能错误等;
该问题是在哪个用例下发现的。 工单号 如需新建云服务问题,可按照提示中的链接创建工单咨询后再新建。 严重程度 致命:系统不可用,造成系统或应用程序崩溃、死机、系统挂起,或造成数据丢失,主要功能完全丧失,导致本模块或相关模块异常等,如代码错误、死循环、数据库发生死锁、与数据库连接错误或通讯错误,未考虑异常操作,功能错误等;
数据入湖作业自动生成 对于调研到的数据,可将需要的数据配置生成入湖清单,基于入湖清单批量生成CDM作业。 数据治理实施质量检查 在进行数据治理过程中监控实施质量,包含数据模型设计、源系统和SDI层数据一致性检测、脚本规范检测、DataArts Studio命名规范检测和作业监控等。 基础设施部署作业
A管理”,点击【新建】按钮进入新建界面填写对应信息,包括SLA管理名称、SLA管理描述、项目名称、服务名称、SLA管理规则(事件响应超时或处理超时管理策略)。 图13 SLA管理 图14 SLA策略详情 手动新增事件 解决方案工作台支持项目在运维过程中手动新增事件工单,进入运维空
如果您本次认证方案架构的ECS是非CCE和Kubernetes集群部署的情况,继续按照下方的步骤指导操作即可。 您需要打开“自动获取CPU/内存数据”的开关,然后点击“添加机器”按钮。 在“添加机器”的弹窗页面,您需要选择本次方案部署的云服务器所在的区域,并在本次需要读取CPU和内存的ECS的名称
功能、UI、API、性能、安全自动化测试。 开启后验证中心与交付中心具备对应的验证能力。 方案交付功能增强包 包年/包月 数据探源、入湖清单自动生成、CDM作业自动生成、数据治理实施检查作业。 开启后交付中心具备对应的作业实施管理能力。 方案运维功能增强包 包年/包月 运维事件流转、运维SLA管控、变更管理。
筛选空间 -- 2 交付中心 支持基于入湖清单生成数据字典 支持基于入湖清单生成数据字典。数据字典可分解词根词条,并支持根据词根词条生成标准化的名称 -- 支持查看数据使能交付全景图 数据使能空间类型中,支持在空间管理处查看数据使能交付全景图 -- 3 设计中心 支持企业架构建模场景(白名单管控)