数据治理中心 DATAARTS STUDIO-步骤2:数据准备:创建数据表
创建数据表
基于样例数据,创建一个原始表,用于存储原始数据。从文件迁移到数据库的场景,您需要预先创建目标数据表。由于本示例的数据源源端为OBS上的 CS V文件,而非数据库,在使用 DataArts Studio 数据集成将数据迁移上云时,不支持自动创建目标表的功能,因此,您需要在目的端( MRS 服务)先建好表。
在使用DataArts Studio进行数据集成时,关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表。这种情况下可以不提前在目的端数据库中预先创建目标表。
执行如下SQL语句,在demo_sdi_db数据库中,创建一个原始表,用于存储原始数据。
在本示例中,您可以参考以下任意一种方式在MRS Hive中创建数据表。
- 您可以在DataArts Studio数据开发模块中,可视化方式创建数据表,具体操作请参见新建数据表章节。
- 您可以通过在DataArts Studio数据开发模块或MRS客户端上,开发并执行用于创建数据表的SQL脚本,从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见开发SQL脚本章节;在MRS客户端开发脚本的具体操作请参见从零开始使用Hive 在demo_sdi_db数据库中创建一个原始数据表的Hive SQL命令如下所示:
DROP TABLE IF EXISTS `sdi_taxi_trip_data`; CREATE TABLE demo_sdi_db.`sdi_taxi_trip_data` ( `VendorID` BIGINT COMMENT '', `tpep_pickup_datetime` TIMESTAMP COMMENT '', `tpep_dropoff_datetime` TIMESTAMP COMMENT '', `passenger_count` BIGINT COMMENT '', `trip_distance` DECIMAL(10,2) COMMENT '', `ratecodeid` BIGINT COMMENT '', `store_fwd_flag` STRING COMMENT '', `PULocationID` STRING COMMENT '', `DOLocationID` STRING COMMENT '', `payment_type` BIGINT COMMENT '', `fare_amount` DECIMAL(10,2) COMMENT '', `extra` DECIMAL(10,2) COMMENT '', `mta_tax` DECIMAL(10,2) COMMENT '', `tip_amount` DECIMAL(10,2) COMMENT '', `tolls_amount` DECIMAL(10,2) COMMENT '', `improvement_surcharge` DECIMAL(10,2) COMMENT '', `total_amount` DECIMAL(10,2) COMMENT '' );