云服务器内容精选

华为云首页用户手册

ClickHouse运维管理

MAPREDUCE服务 MRS-收集ClickHouse系统表转储日志:操作场景

操作场景在日常使用ClickHouse时，如果出现一些异常故障，需要紧急重启恢复业务，在紧急重启之前，需要及时转储ClickHouse各系统表状态信息，用于问题定位，提升ClickHouse问题定位的效率。针对不同的系统表日志可以分为实时转储和一键转储，如下表所示：系统表转储日志系统表实时转储系统表日志 system.asynchronous_metrics system.clusters system.distribution_queue system.events system.grants system.mutations system.processes system.metrics system.part_moves_between_shards system.replicas system.replicated_fetches system.replication_queue 一键转储系统表日志 system.distributed_ddl_queue system.errors system.parts system.parts_columns system.query_log system.query_thread_log system.trace_log

MAPREDUCE服务 MRS ClickHouse运维管理
MAPREDUCE服务 MRS-收集ClickHouse系统表转储日志:收集一键转储系统表日志

收集一键转储系统表日志使用root用户后台登录任一ClickHouseServer节点，进入到sbin目录下。 cd ${BIGDATA_HOME}/ FusionInsight _ClickHouse_*/*_*_ClickHouseServer/install/clickhouse/sbin 执行如下命令获取转储日志： ./clickhouse_systemtable_dump.sh 1 "收集开始时间" "收集结束时间" 例如：./clickhouse_systemtable_dump.sh 1 "2023-08-04 12:00:00" "2023-08-04 16:37:20" 进入“/var/log/Bigdata/clickhouse/systemTableDump/oneclickTable”目录，查看一键转储压缩日志。

MAPREDUCE服务 MRS ClickHouse运维管理
MAPREDUCE服务 MRS-集群内ClickHouseServer节点间数据迁移:前提条件

前提条件 ClickHouse服务运行正常，Zookeeper服务运行正常，迁入、迁出节点的ClickHouseServer实例状态正常。请确保迁入节点已有待迁移数据表，且确保该表是MergeTree系列引擎的分区表。创建迁移任务前请确保所有对待迁移数据表的写入任务已停止，且任务启动后，只允许对待迁移数据表进行查询操作，禁止对该表进行写入、删除等操作，否则可能会造成迁移前后数据不一致。迁入节点的ClickHouse数据目录有足够的空间。

MAPREDUCE服务 MRS ClickHouse运维管理
MAPREDUCE服务 MRS-集群内ClickHouseServer节点间数据迁移:前提条件

前提条件 ClickHouse服务运行正常，Zookeeper服务运行正常，迁入、迁出节点的ClickHouseServer实例状态正常。请确保迁入节点已有待迁移数据表，且确保该表是MergeTree系列引擎的分区表。创建迁移任务前请确保所有对待迁移数据表的写入任务已停止，且任务启动后，只允许对待迁移数据表进行查询操作，禁止对该表进行写入、删除等操作，否则可能会造成迁移前后数据不一致。迁入节点的ClickHouse数据目录有足够的空间。

MAPREDUCE服务 MRS ClickHouse运维管理