检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采用Yarn管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算及进行海量数据分析与查询的能力。
数据导入 概述 使用Loader导入数据 典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS
数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。
以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。
方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 CDM服务迁移Hadoop数据至MRS集群方案如图1所示。
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。
通过Flume采集指定目录日志系统文件至HDFS 应用场景 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。
转换步骤配置不正确时，传输的数据将无法转换并成为脏数据，脏数据标记规则如下： 任意输入类型步骤中，原数据包含字段的个数小于配置字段的个数，或者原数据字段值与配置字段的类型不匹配时，全部数据成为脏数据。
使用Hive加载HDFS数据并分析图书评分情况 应用场景 MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。
配置参数 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据复制到HDFS。 父主题： 数据迁移方案介绍
带宽可根据数据量大小及客户对均衡时间的要求进行调整，5TB数据量，使用50MB带宽，均衡时长约8小时。 执行以下命令查看迁移状态。 .
Presto Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。
端口号可登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，在搜索框中搜索“https_http”或“http_port”查看。
数据保护技术 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中，HDFS默认采用CRC32C算法校验数据的正确性，同时也支持CRC32校验算法，CRC32C校验速度快于CRC32。
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。
写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
