检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败 问题 建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败以及show partitions table结果编码不对。 执行desc formatted test_hiv
增加Kafka Topic分区 操作场景 用户可以通过KafkaUI增加Kafka Topic分区。 安全模式集群下，执行分区迁移操作的用户需属于“kafkaadmin”用户组，否则将会由于鉴权失败导致操作失败。 非安全模式下，KafkaUI对任意操作不作鉴权处理。 增加分区 进入KafkaUI界面。
增加Kafka Topic分区 操作场景 用户可以通过KafkaUI增加Kafka Topic分区。 安全模式集群下，执行分区迁移操作的用户需属于“kafkaadmin”用户组，否则将会由于鉴权失败导致操作失败。 非安全模式下，KafkaUI对任意操作不作鉴权处理。 本章节内容仅适用于MRS
compress'='SNAPPY'); 修改表结构，添加分区并插入数据 alter table test_table add partition(p1='a'); insert into test_table partition(p1='a') select col1,col2 from
执行以下命令登录Hive客户端。 beeline 指定静态分区或者动态分区。 静态分区： 静态分区是手动输入分区名称，在创建表时使用关键字PARTITIONED BY指定分区列名及数据类型。应用开发时，使用ALTER TABLE ADD PARTITION语句增加分区，以及使用LOAD DATA INTO
metastore.batch.retrieve.table.partition.max、dbservice.database.max.connections等参数均未能解决。 怀疑是GaussDB的问题，因为增加字段会遍历每个分区执行getPartitionColumnStatistics和alterPartition。
verifyPartitionPath 配置读取Hive分区表时，是否过滤掉分区表分区路径不存在的分区。 “true”：过滤掉分区路径不存在的分区； “false”：不进行过滤。 false 在spark-submit命令提交应用时，通过“--conf”参数配置是否过滤掉分区表分区路径不存在的分区。 示例： spark-submit
toSQL(SQLText.java:339) 原因分析 drop partition的处理逻辑是将找到所有满足条件的分区，将其拼接起来，最后统一删除。由于分区数过多，拼删元数据堆栈较深，出现StackOverFlow异常。 解决办法 分批次删除分区。 父主题： 使用Hive
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
Hive分区数过多导致删除表失败 问题现象 Hive创建的二级分区表有两万多个分区，导致用户在执行truncate table ${TableName},drop table ${TableName}时失败。 原因分析 删除文件操作是单线程串行执行的，Hive分区数过多导致在元数
verifyPartitionPath 配置读取HIVE分区表时，是否过滤掉分区表分区路径不存在的分区。 “true”：过滤掉分区路径不存在的分区； “false”：不进行过滤。 false 在spark-submit命令提交应用时，通过“--conf”参数配置是否过滤掉分区表分区路径不存在的分区。 示例： spark-submit
已参考管理驱动，上传了MySQL数据库驱动。 步骤1：在MRS Hive上创建Hive分区表 在MRS的Hive客户端中，执行以下SQL语句创建一张Hive分区表，表名与MySQL上的表trip_data一致，且Hive表比MySQL表多建三个字段y、ym、ymd，作为Hive的分区字段。 SQL语句如下：
ClickHouse分区设计 合理设置分区键，控制分区数在一千以内，分区字段使用整型。 分区part数与查询性能关系 图1 分区part数与查询性能关系图 分区建议 建议使用toYYYYMMDD（pt_d）作为分区键，pt_d是date类型。 如果业务场景需要做小时分区，使用pt_d、
产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 数据丢失：设备分区丢失，可能导致客户保存在这个分区上的数据丢失。 系统崩溃：如果丢失的是系统盘可能导致客户此节点系统运行异常，严重时导致系统崩溃无法正常开机运行。 业务失败：如果丢失的设备分区上会进行组件的业务读写
2001 原因分析 Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic
Hive分区修剪的谓词下推增强 配置场景 在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统，选择“集群 >
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。 当指
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。
MRS集群磁盘如何分区的？ MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
