数据治理中心 DATAARTS STUDIO-步骤2:数据准备:创建数据表

时间:2024-11-12 17:25:41

创建数据表

基于样例数据,创建一个原始表,用于存储原始数据。从文件迁移到数据库的场景,您需要预先创建目标数据表。由于本示例的数据源源端为OBS上的 CS V文件,而非数据库,在使用 DataArts Studio 数据集成将数据迁移上云时,不支持自动创建目标表的功能,因此,您需要在目的端( MRS 服务)先建好表。

在使用DataArts Studio进行数据集成时,关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表。这种情况下可以不提前在目的端数据库中预先创建目标表。

执行如下SQL语句,在demo_sdi_db数据库中,创建一个原始表,用于存储原始数据。

在本示例中,您可以参考以下任意一种方式在MRS Hive中创建数据表。

  • 您可以在DataArts Studio数据开发模块中,可视化方式创建数据表,具体操作请参见新建数据表章节。
  • 您可以通过在DataArts Studio数据开发模块或MRS客户端上,开发并执行用于创建数据表的SQL脚本,从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见开发SQL脚本章节;在MRS客户端开发脚本的具体操作请参见从零开始使用Hive 在demo_sdi_db数据库中创建一个原始数据表的Hive SQL命令如下所示:
    DROP TABLE IF EXISTS `sdi_taxi_trip_data`;
    
    CREATE TABLE demo_sdi_db.`sdi_taxi_trip_data` (
      `VendorID` BIGINT COMMENT '',
      `tpep_pickup_datetime` TIMESTAMP COMMENT '',
      `tpep_dropoff_datetime` TIMESTAMP COMMENT '',
      `passenger_count` BIGINT COMMENT '',
      `trip_distance` DECIMAL(10,2) COMMENT '',
      `ratecodeid` BIGINT COMMENT '',
      `store_fwd_flag` STRING COMMENT '',
      `PULocationID` STRING COMMENT '',
      `DOLocationID` STRING COMMENT '',
      `payment_type` BIGINT COMMENT '',
      `fare_amount` DECIMAL(10,2) COMMENT '',
      `extra` DECIMAL(10,2) COMMENT '',
      `mta_tax` DECIMAL(10,2) COMMENT '',
      `tip_amount` DECIMAL(10,2) COMMENT '',
      `tolls_amount` DECIMAL(10,2) COMMENT '',
      `improvement_surcharge` DECIMAL(10,2) COMMENT '',
      `total_amount` DECIMAL(10,2) COMMENT ''
    );
    
support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0004.html