数据治理中心 DATAARTS STUDIO-MySQL数据迁移到MRS Hive分区表:在MRS Hive上创建Hive分区表

时间：2024-06-18 20:26:34

数据治理中心 DATAARTS STUDIO 使用教程

在 MRS Hive上创建Hive分区表

在MRS的Hive上使用下面SQL语句创建一张Hive分区表，表名与MySQL上的表trip_data一致，且Hive表比MySQL表多建三个字段y、ym、ymd，作为Hive的分区字段。SQL语句如下：

   
        create table trip_data(TripID int,Duration int,StartDate timestamp,StartStation varchar(64),StartTerminal int,EndDate timestamp,EndStation varchar(64),EndTerminal int,Bike int,SubscriberType varchar(32),ZipCodev varchar(10))partitioned by (y int,ym int,ymd int);

Hive表trip_data有三个分区字段：骑行起始时间的年、骑行起始时间的年月、骑行起始时间的年月日，例如一条骑行记录的起始时间为2018/5/11 9:40，那么这条记录会保存在分区trip_data/2018/201805/20180511下面。对trip_data进行按时间维度统计汇总时，只需要对局部数据扫描，大大提升性能。

上一篇：数据治理中心 DATAARTS STUDIO-MySQL数据迁移到MRS Hive分区表:操作场景

下一篇：数据治理中心 DATAARTS STUDIO-MySQL数据迁移到MRS Hive分区表:操作场景