云数据迁移 CDM-MySQL数据迁移到MRS Hive分区表:在MRS Hive上创建Hive分区表

时间：2024-12-02 10:57:36

云数据迁移 CDM

在 MRS Hive上创建Hive分区表

在MRS的Hive上使用下面SQL语句创建一张Hive分区表，表名与MySQL上的表trip_data一致，且Hive表比MySQL表多建三个字段y、ym、ymd，作为Hive的分区字段。SQL语句如下：

   
        create table trip_data(TripID int,Duration int,StartDate timestamp,StartStation varchar(64),StartTerminal int,EndDate timestamp,EndStation varchar(64),EndTerminal int,Bike int,SubscriberType varchar(32),ZipCodev varchar(10))partitioned by (y int,ym int,ymd int);

Hive表trip_data有三个分区字段：骑行起始时间的年、骑行起始时间的年月、骑行起始时间的年月日，例如一条骑行记录的起始时间为2018/5/11 9:40，那么这条记录会保存在分区trip_data/2018/201805/20180511下面。对trip_data按时间维度统计汇总时，只需要对局部数据扫描，从而提升性能。

上一篇：云数据迁移 CDM-MySQL数据迁移到MRS Hive分区表:创建CDM集群并绑定EIP

下一篇：云数据迁移 CDM-MySQL数据迁移到MRS Hive分区表:创建CDM集群并绑定EIP