检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节内容仅适用于MRS 3.3.1及之后版本。 开启Succinct Trie后,HFile文件将不兼容开源版本,如果使用HFile进行数据迁移,且需要迁移到MRS 3.2.0及之前版本时,需要先关闭此特性,再对数据表执行major compaction生成新的HFile文件。 操作步骤
操作场景 在用户意外修改、删除或需要找回数据时,系统管理员需要对Flink进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致Flink组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Flink元数据进行恢复数据操作。 系统管理员可以通过FusionInsight
据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS 3.1.0及之后版本需要执行。 登录FusionInsight Manager页面,选择“集群
备份CDL业务数据 操作场景 为了确保CDL日常数据安全,或者系统管理员需要对CDL进行重大操作(如升级或迁移等)时,需要对CDL数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 CDL的数据存储在DBService与Kafka
导入导出Hive表/分区数据 操作场景 在大数据应用场景中,往往存在将Hive中的数据表迁移到另一个集群上,使用Hive的导入导出命令可以实现表级别数据迁移,即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中,再在目标集群使用Import命令将导出的数据导入到相应的Hive表中。
在用户意外修改、删除或需要找回数据时,集群用户对ClickHouse进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对ClickHouse进行恢复数据操作。 集群用户可以通过FusionInsight Manager创建恢复Cl
本章节指导用户将现有集群的Hive元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台,购买RDS实例,具体操作请参考购买实例。 为了保证集群和MySQL或Postgr
HDFS HA方案介绍 HDFS HA方案背景 在Hadoop 2.0.0之前,HDFS集群中存在单点故障问题。由于每个集群只有一个NameNode,如果NameNode所在机器发生故障,将导致HDFS集群无法使用,除非NameNode重启或者在另一台机器上启动。这在两个方面影响了HDFS的整体可用性:
备份ClickHouse元数据 操作场景 为了确保ClickHouse集群中的元数据安全,或者集群用户需要对ClickHouse进行重大操作(如升级或迁移等)时,需要对ClickHouse集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。
备份Manager数据(MRS 2.x及之前版本) 操作场景 为了确保元数据信息安全,或者用户在对元数据功能进行重大操作(如扩容缩容、安装补丁包、升级或迁移等)前后,需要对元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。元数据包含OMS数据
导入导出Hive数据库 操作场景 在大数据应用场景中,往往存在将Hive中的数据库及数据库下的所有表迁移到另一个集群上,使用Hive的导出导入数据库命令可以实现完整数据库的迁移。 本章节内容适用于MRS 3.2.0及之后版本。 Hive数据库导入导出功能目前不支持对加密表、HBa
备份Doris业务数据 操作场景 为了确保Doris日常用户的业务数据安全,或者集群用户需要对Doris进行重大操作(如升级或迁移等)时,需要对Doris数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 集群用户可以通过FusionInsight
备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全,或者系统管理员需要对Flink进行重大操作(如升级或迁移等)时,需要对Flink集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时,MRS集群管理员需要在Manager中修改NodeManager的存储目录,以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
Filesystem所在的分区与“%util”指标比较高的分区相匹配,则考虑在空闲的磁盘上规划Kafka分区,并将log.dirs设置为空闲磁盘目录,然后参考3,对Topic的Partition重新规划,保证该Topic的Partition均匀分布到各个磁盘。 观察一段时间,检查告警是否清除。
MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力,可从历史版本升级至目标LTS版本。如果需要使用版本升级能力,
备份ClickHouse业务数据 操作场景 为了确保ClickHouse日常用户的业务数据安全,或者集群用户需要对ClickHouse进行重大操作(如升级或迁移等),需要对ClickHouse数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 集群用户可以通过FusionInsight
备份Kafka元数据 操作场景 为了确保Kafka元数据安全,或者系统管理员需要对ZooKeeper进行重大操作(如升级或迁移等)时,需要对Kafka元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
在用户意外修改、删除或需要找回数据时,系统管理员对Doris进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对Doris进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Doris任
备份HDFS NameNode元数据 操作场景 为了确保NameNode日常数据安全,或者系统管理员需要对NameNode进行重大操作(如升级或迁移等),需要对NameNode数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight