HAYDN解决方案工厂-资源准备:资源准备

时间:2024-08-27 11:16:40

资源准备

若有实际的数据需要进行探源、迁移入湖等,则需要把相关数据准备好。本最佳实践准备的相关资源如下:

表1 资源准备

准备项

资源内容

说明

源端系统连接信息

MySQL数据库

  • 门店基本信息表:

    store_mgmt.t_user_store_info

  • 订单表:

    order_mgmt.t_trade_order

本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。

目标端系统连接信息

MRS Hudi:

  • 门店DB:store_mgmt、dwi_store_mgmt
  • 订单DB:order_mgmt

本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。

数据探源服务器

Linux操作系统服务器:

4vCPUs | 8GiB | Si2.xlarge.2

为了批量自动获取客户源端系统的数据结构,可使用解决方案工作台的探源工具进行数据探源,因此需要准备好可运行该探源工具的服务器。要求:Linux操作系统且该服务器与要探源的源端系统网络互通即可。

云服务资源准备

按照需求准备好需要用到的云服务资源,如本实践使用CDM进行数据迁移入湖至MRS,并使用DataArts Studio进行 数据治理 ,则需要开通相应资源。

其他

DWS、 DLV 等资源

由于本最佳实践主要演示在解决方案工作台上对该项目进行管理以及实施交付,不涉及DWS、DLV的操作,因此实际应用中按需求开通即可,本文档中不展开。

support.huaweicloud.com/qs-haydncsf/zh-cn_topic_0000002000049014.html