MAPREDUCE服务 MRS-数据表报错Too many parts解决方法:问题排查步骤
问题排查步骤
- 登录ClickHouse客户端,需要排查是否存在异常的Merge。
select database, table, elapsed, progress, merge_type from system.merges;
- 业务上建议insert频率不要太快,不要小批量数据的插入,适当增大每次插入的时间间隔。
- 数据表分区分配不合理,导致产生太多的区分,需要重新划分分区。
- 如果没有触发Merge,或者Merge较慢,需要调整参数加快Merge。
加速Merge,需要调整如下参数,请参考加速Merge操作:
配置项
参考值
max_threads
CPU核数*2
background_pool_size
CPU核数
merge_max_block_size
8192的整数倍,根据CPU内存资源大小调整
cleanup_delay_period
适当小于默认值 30
- ModelArts自定义镜像_自定义镜像简介_如何使用自定义镜像
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- GaussDB集群搭建_SQL数据库是谁发明的_高斯数据库集群搭建_华为云
- 连接RDS for MySQL数据库_华为云数据库RDS_语法_数据库连接_连接命令
- MySQL数据库简介_MySQL数据库应用_MySQL授权多个数据库
- ModelArts开发环境_开发环境简介_开发环境怎么使用
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 数据治理中心_数据开发_最佳实践_-华为云
- mysql数据库免费吗_mysql在线数据库_mysql数据库下载
- 大数据分析是什么_使用MapReduce_创建MRS服务