MapReduce服务 MRS-建议:合理设置分区键,控制分区数在一千以内,分区字段使用整型

时间:2023-11-01 16:19:45

合理设置分区键,控制分区数在一千以内,分区字段使用整型

  1. 建议使用toYYYYMMDD(表字段pt_d)作为分区键,表字段pt_d是date类型。
  2. 如果业务场景需要做小时分区,使用toYYYYMMDD(表字段pt_d)、toYYYYMMDD(表字段pt_h)做联合分区键,其中toYYYYMMDD(表字段pt_h)是整型小时数。
  3. 如果保存多年数据,建议考虑使用月做分区,例如toYYYYMM(表字段pt_d)。
  4. 综合考虑数据分区粒度、每个批次提交的数据量、数据的保存周期等因素,合理控制part数量。
support.huaweicloud.com/devg3-mrs/mrs_07_450062.html