HAYDN解决方案工厂-项目实施开发:ETL Mapping

时间:2024-07-04 19:45:18

ETL Mapping

数据治理中心 DataArts Studio是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。解决方案工作台集成 DataArts Studio ,支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts Studio作业指定的目录。

前提:

  1. 已在实施责任人“解决方案工作台Trial_TE”所属账号下开通DataArts Studio服务。
  2. 已在该DataArts Studio服务中创建 MRS Hudi数据连接(本实践中的数据连接名称“spark_hudi_proxy_cnt”,名称可自定义),以便基于数据连接同步作业以及后续在DataArts Studio中执行脚本。

    为了后续能正确执行脚本,请创建与ETL映射中需要用到的数据库类型相同的连接,如,本实践中的ETL映射需要同步的数据来源与目标端均为MRS Hudi,则在DataArts Studio服务中需要创建MRS Hudi连接

步骤:

  1. 在“作业管理”下选择“ETL Mapping作业”页签,添加 数据治理 实例。选择本账号下的数据治理(DataArts Studio)所属region、实例以及空间。
    图29 添加数据治理实例
  2. 同步ETL Mapping。
    图30 同步ETL Mapping
  3. 配置ETL Mapping。本实践中,需要将ETL映射配置好的ETL映射同步至DataArts Studio中。
    • 实施作业名称:自定义;
    • 关联需求:可选,可与交付需求创建的相关需求关联起来(本实践与需求“数据治理”下的“构建智慧门店数据资产”关联),关联后该ETL作业将会自动在实施进度管理中展示;
    • ETL Mapping名称:选择ETL映射中配置好的ETL映射;
    • DataArts Studio目录:选填需要将该ETL映射同步至DataArts Studio的具体目录;
    • 连接名称:选择在DataArts Studio中创建好的MRS Hudi连接。
      图31 配置ETL Mapping
  4. 点击【同步历史】,查看同步结果。
    图32 查看同步结果

    您也可以进入该DataArts Studio实例中查看同步结果并执行脚本。

    图33 查看同步结果
support.huaweicloud.com/bestpractice-haydncsf/haydncsf_06_0033.html