云服务器内容精选

华为云首页用户手册

车联网大数据零丢失搬迁入湖

云数据迁移 CDM-MRS中恢复HBase表:使用命令恢复历史不变的数据

使用命令恢复历史不变的数据这里以恢复“/hbase/data/default/table_20180811”表为例，恢复步骤如下：进入 MRS Client所在的节点，例如master1节点。切换为omm用户。 su – omm 加载环境变量。 source /opt/client/bigdata_env 执行修改目录权限命令。 hdfs dfs –chown omm:hadoop –R /hbase/data/default/table_20180811 omm:hadoop：表示用户名，实际场景中请替换。 /hbase/data/default/table_20180811：表示表所在路径。执行恢复元数据命令。 hbase hbck –fixMeta table_20180811 执行Region上线命令。 hbase hbck –fixAssignments table_20180811 出现“Status: OK”则说明恢复表成功。

云数据迁移 CDM 车联网大数据零丢失搬迁入湖
云数据迁移 CDM-MRS中恢复HBase表:恢复表时的问题处理

恢复表时的问题处理执行完fixMeta命令后，报错显示“xx inconsistent”： fixMeta命令是校验HDFS和HBase元数据一致性，出现这个提示是正常情况，继续执行fixAssignments命令即可。执行完fixAssignments命令后，报错显示“xx inconsistent”： fixAssignments是让所有Region上线，偶尔会出现部分Region上线较慢，可以再执行一次以下命令检查一下： hbase hbck 表名如果出现“Status : OK”则表示HBase表恢复成功。执行完fixAssignments命令后，错误提示多个region有相同的startkey，部分region存在overlap情况：可以再执行： hbase hbck –fixHdfsOverlaps 表名执行完毕后再执行fixMeta和fixAssignments命令。

云数据迁移 CDM 车联网大数据零丢失搬迁入湖
数据治理中心 DATAARTS STUDIO-车联网大数搬迁入湖简介场景介绍:迁移方案

迁移方案图1 迁移方案 H公司的车联网大数据业务平台当前CDH（Cloudera Hadoop） HBase集群中共有854张表约400TB，备HBase集群中共有149张表，约10TB数据。最近一个月新增的数据量是60TB。使用 CDM 将CDH集群中的HBase HFile抽取出来存入到MRS（MapReduce） HDFS中，再通过HBase修复命令重建HBase表。基于这种迁移方案，可以使用以下2种迁移方式同时进行： CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据： CDH → CDM（华为云） → MRS 使用云专线直接迁移时的优缺点：优点：数据无需做多次的搬迁，缩短整体搬迁周期。缺点：在数据大量传输过程中会占用专线带宽，对客户并行进行的业务存在影响，跨越多个交换机设备。 CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。优点：传输可靠性高，受专线以及网络质量影响较小。缺点：迁移方式耗时较长。

数据治理中心 DATAARTS STUDIO 车联网大数据零丢失搬迁入湖