数据治理中心 DATAARTS STUDIO-步骤2:数据准备:创建数据库

时间:2024-11-12 17:25:41

创建数据库

根据 数据湖 治理落地流程,建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库,从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念,此处先简单了解即可,在数据架构时将深入了解与操作。

  • SDI (Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落地。
  • DWI (Data Warehouse Integration),又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。
  • DWR (Data Warehouse Report),又称数据报告层。DWR基于多维模型,和DWI层数据粒度保持一致。
  • DM (Data Mart),又称数据集市。DM面向展现层,数据有多级汇总。

创建数据库的操作,一般您需要在数据湖产品中完成。

在本示例中,您可以参考以下任意一种方式在 MRS Hive中创建数据库。

  • 您可以在 DataArts Studio 数据开发模块中,可视化方式创建数据库,具体操作请参见新建数据库章节。
  • 您可以通过在DataArts Studio数据开发模块或MRS客户端上,开发并执行用于创建数据库的SQL脚本,从而创建数据库。在DataArts Studio数据开发模块开发脚本的具体操作请参见开发SQL脚本章节;在MRS客户端开发脚本的具体操作请参见从零开始使用Hive章节。创建数据库的Hive SQL命令如下所示:
    --创建SDI贴源层数据库
    CREATE DATABASE demo_sdi_db;
    
    --创建DWI多源整合层数据库
    CREATE DATABASE demo_dwi_db;
    
    --创建DWR明细数据层数据库
    CREATE DATABASE demo_dwr_db;
    
    --创建DM数据集市层数据库
    CREATE DATABASE demo_dm_db;
support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0004.html