数据治理中心 DataArts Studio-步骤2:数据准备:创建数据表

时间:2025-02-12 15:03:04

创建数据表

基于样例数据,创建一个原始表,用于存储原始数据。从文件迁移到数据库的场景,您需要预先创建目标数据表。由于本示例的数据源源端为OBS上的 CS V文件,而非数据库,在使用 DataArts Studio 数据集成将数据迁移上云时,不支持自动创建目标表的功能,因此,您需要在目的端( MRS 服务)先建好表。

在使用DataArts Studio进行数据集成时,关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表。这种情况下可以不提前在目的端数据库中预先创建目标表。

执行如下SQL语句,在demo_sdi_db数据库中,创建一个原始表,用于存储原始数据。

在本示例中,您可以参考以下任意一种方式在MRS Hive中创建数据表。

  • 您可以在DataArts Studio数据开发模块中,可视化方式创建数据表,具体操作请参见新建数据表章节。
  • 您可以通过在DataArts Studio数据开发模块或MRS客户端上,开发并执行用于创建数据表的SQL脚本,从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见开发SQL脚本章节;在MRS客户端开发脚本的具体操作请参见从零开始使用Hive 在demo_sdi_db数据库中创建一个原始数据表的Hive SQL命令如下所示:
    DROP TABLE IF EXISTS `sdi_taxi_trip_data`;CREATE TABLE demo_sdi_db.`sdi_taxi_trip_data` (  `VendorID` BIGINT COMMENT '',  `tpep_pickup_datetime` TIMESTAMP COMMENT '',  `tpep_dropoff_datetime` TIMESTAMP COMMENT '',  `passenger_count` BIGINT COMMENT '',  `trip_distance` DECIMAL(10,2) COMMENT '',  `ratecodeid` BIGINT COMMENT '',  `store_fwd_flag` STRING COMMENT '',  `PULocationID` STRING COMMENT '',  `DOLocationID` STRING COMMENT '',  `payment_type` BIGINT COMMENT '',  `fare_amount` DECIMAL(10,2) COMMENT '',  `extra` DECIMAL(10,2) COMMENT '',  `mta_tax` DECIMAL(10,2) COMMENT '',  `tip_amount` DECIMAL(10,2) COMMENT '',  `tolls_amount` DECIMAL(10,2) COMMENT '',  `improvement_surcharge` DECIMAL(10,2) COMMENT '',  `total_amount` DECIMAL(10,2) COMMENT '');
support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0004.html