MAPREDUCE服务 MRS-迁移MRS集群内ClickHouse数据至其他MRS集群:迁移方案原理介绍

时间:2024-12-12 20:11:19

迁移方案原理介绍

  • Replicated*MergeTree引擎的复制表迁移:

    ClickHouse利用ZooKeeper将同一分片下不同副本的Replicated*MergeTree引擎表数据自动进行同步,本迁移方案利用该特性进行数据迁移。大致逻辑步骤如下:

    首先,在目标集群的配置文件中添加源集群的ZooKeeper信息作为辅助ZooKeeper。其次,再在目标集群中创建和源集群相同ZooKeeper路径不同副本并且表结构和源集群一致的临时表。临时表创建完成源集群中的数据将会自动同步到临时表。最后,等待源集群数据同步到目标集群的临时表完成后,将目标集群中的临时表数据复制到正式表即可。
    图1 Replicated*MergeTree引擎表迁移架构图
  • 分布式表迁移:

    分布式表不涉及表数据,只涉及表的元数据信息,迁移过程中会将源集群ClickHouse分布式表的元数据信息导出,然后将元数据信息修改为目标集群的ZooKeeper路径和副本,根据修改后的元数据信息在目标集群新建表即可。

  • 非复制表和物化视图迁移:

    针对非复制表和物化视图采用调用remote函数方式进行数据迁移。

上述迁移的操作步骤通过迁移工具脚本做了封装处理,只需修改相关配置文件执行迁移脚本即可完成一键式迁移操作,具体可以参考操作步骤说明。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24508.html