检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。
从6和7回显中获取分区的分布信息和节点信息，在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例，迁移到“/srv/BigData/hadoop/data1/kafka-logs”，完成迁移所需的json配置文件，内容如下。 {"partitions":[{"topic":
离线数据加载：通过CDM将Hive外表数据迁移到Doris 应用场景 离线数据，端到端时延无要求。在存在DataArts Studio工具的场景下，数据加载使用CDM进行将离线的Hive外表数据迁移到MRS Doris。 方案架构 离线数据可以从数据湖加载，也可以直接加载本地文件
MRS集群）需要迁移到华为云MRS集群，且在同一个Region区域和VPC子网，可以使自建集群和MRS集群使用相同安全组、VPC、子网网络，从而保证网络连通。 图2 线上同Region同VPC迁移 客户在华为云上自建大数据集群（或老版本的MRS集群）需要迁移到华为云MRS集群，且
7及其以后版本中使用的索引与以前MRS版本中HBase使用的二级索引都不兼容。因此，为了将索引数据从以前的版本（MRS 1.5及其以前版本）迁移到MRS 1.7及其以后版本，需要遵循以下步骤。 前提条件 迁移数据时旧版本集群应为MRS1.5及其以前的版本，新版本集群应为MRS1.7及其以后的版本。
数据迁移 数据迁移方案介绍 数据迁移到MRS前信息收集 数据迁移到MRS前网络准备 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS
3.3.0-LTS.1版本中JobServer实例默认部署在Core节点上，由于JobServer主要用于提交作业，默认2个实例即可，建议迁移到Master节点。 本操作指导只针对集群类型是自定义类型的集群，若集群类型为分析集群，请联系运维人员处理。 操作步骤 在Master节点上
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异，具体操作详情以实际版本对应的操作指导为准。
的表一致。 说明： 使用临时表是为了使得导出数据到数据库时，不会在目的表中产生脏数据。只有在所有数据成功写入临时表后，才会将数据从临时表迁移到目的表。使用临时表会增加作业的执行时间。 tmp_test 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader
储和计算资源已不满足业务需求，需要对集群进行拆分，将部分用户业务及数据库数据迁移到新建集群中。 场景二：MRS ClickHouse集群后端主机所在机房需要搬迁，需要将ClickHouse集群整体迁移到另外一个机房的新集群当中。 为了解决上述场景下对搬迁能力的要求，MRS提供了C
在“源分组”中选择待迁移作业当前所属分组，在“目标分组”中选择待迁移作业的目标分组。 在“选择迁移类型”中选择迁移类型。 “所有”：将源分组所有作业迁移到目标分组。 “指定作业”：将源分组中指定的作业迁移到目标分组。选择“指定作业”，在作业列表中勾选需要迁移的作业。 单击“确定”，开始作业迁移。当弹出框中进度条显示100%，则说明作业迁移完成。
资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS至OBS为例，介绍如何通过CDM将文件类数据迁移到OBS文件系统中。 使用CDM服务迁移MRS HDFS数据至OBS流程如下： 步骤1：创建CDM集群并绑定EIP 步骤2：创建MRS HDFS连接
在“源分组”中选择待迁移作业当前所属分组，在“目标分组”中选择待迁移作业的目标分组。 在“选择迁移类型”中选择迁移类型。 “所有”：将源分组所有作业迁移到目标分组。 “指定作业”：将源分组中指定的作业迁移到目标分组。选择“指定作业”，在作业列表中勾选需要迁移的作业。 单击“确定”，开始作业迁移。当弹出框中进度条显示100%，则说明作业迁移完成。
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异，具体操作详情以实际版本对应的操作指导为准。
HBase文件丢失导致Region状态长时间为RIT 用户问题 数据迁移到新集群后，HBase的Region状态为RIT或FAILED_OPEN。 原因分析 登录到集群的Core节点查看RegionServer日志，报错： “Region‘3b3ae24c65fc5094bc2a
导入导出Hive数据库 操作场景 在大数据应用场景中，往往存在将Hive中的数据库及数据库下的所有表迁移到另一个集群上，使用Hive的导出导入数据库命令可以实现完整数据库的迁移。 本章节内容适用于MRS 3.2.0及之后版本。 Hive数据库导入导出功能目前不支持对加密表、HBa
0.2:21005 Redis部署方式 Redis部署方式，当前仅支持“Cluster”。 Redis类型数据连接需配置该参数。 Cluster Redis服务器列表 Redis实例的连接信息，格式为“IP地址:端口”，多个实例之间通过逗号分隔。 Redis类型数据连接需配置该参数。
0.2:21005 Redis部署方式 Redis部署方式，当前仅支持“Cluster”。 Redis类型数据连接需配置该参数。 Cluster Redis服务器列表 Redis实例的连接信息，格式为“IP地址:端口”，多个实例之间通过逗号分隔。 Redis类型数据连接需配置该参数。
本章节内容仅适用于MRS 3.3.1及之后版本。 开启Succinct Trie后，HFile文件将不兼容开源版本，如果使用HFile进行数据迁移，且需要迁移到MRS 3.2.0及之前版本时，需要先关闭此特性，再对数据表执行major compaction生成新的HFile文件。 操作步骤 登录集群的FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
