云服务器内容精选

华为云首页用户手册

车联网大数据零丢失搬迁入湖

数据治理中心 DATAARTS STUDIO-车联网大数搬迁入湖简介场景介绍:迁移方案

迁移方案图1 迁移方案 H公司的车联网大数据业务平台当前CDH（Cloudera Hadoop） HBase集群中共有854张表约400TB，备HBase集群中共有149张表，约10TB数据。最近一个月新增的数据量是60TB。使用 CDM 将CDH集群中的HBase HFile抽取出来存入到 MRS （MapReduce） HDFS中，再通过HBase修复命令重建HBase表。基于这种迁移方案，可以使用以下2种迁移方式同时进行： CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据： CDH → CDM（华为云） → MRS 使用云专线直接迁移时的优缺点：优点：数据无需做多次的搬迁，缩短整体搬迁周期。缺点：在数据大量传输过程中会占用专线带宽，对客户并行进行的业务存在影响，跨越多个交换机设备。 CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。优点：传输可靠性高，受专线以及网络质量影响较小。缺点：迁移方式耗时较长。

数据治理中心 DATAARTS STUDIO 车联网大数据零丢失搬迁入湖
云数据迁移 CDM-车联网大数搬迁入湖简介场景介绍:迁移方案

迁移方案图1 迁移方案 H公司的车联网大数据业务平台当前CDH（Cloudera Hadoop） HBase集群中共有854张表约400TB，备HBase集群中共有149张表，约10TB数据。最近一个月新增的数据量是60TB。使用CDM将CDH集群中的HBase HFile抽取出来存入到MRS（MapReduce） HDFS中，再通过HBase修复命令重建HBase表。基于这种迁移方案，可以使用以下2种迁移方式同时进行： CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据： CDH → CDM（华为云） → MRS 使用云专线直接迁移时的优缺点：优点：数据无需做多次的搬迁，缩短整体搬迁周期。缺点：在数据大量传输过程中会占用专线带宽，对客户并行进行的业务存在影响，跨越多个交换机设备。 CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。优点：传输可靠性高，受专线以及网络质量影响较小。缺点：迁移方式耗时较长。

云数据迁移 CDM 车联网大数据零丢失搬迁入湖