检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类
org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x
org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x
快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采
Kafka集群监控管理 Kafka集群监控管理包含以下内容： 查看Broker信息 查看Topic信息 查看Consumers信息 通过KafkaManager修改Topic的partition 查看Broker信息 登录KafkaManager的WebUI界面。 在集群列表页面
缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如Da
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错： exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm
Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hado
需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间复制功能，该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响
选择报表的时间范围。 单击“导出”，MRS将生成指定时间范围内、已勾选的集群监控指标报表文件，请选择一个位置保存，并妥善保管该文件。 仅MRS 3.x之前版本支持导出监控指标报表。 通过Manager查看集群监控（MRS 3.x及之后版本） 登录集群Manager界面。 单击“主页”。
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数，使集群内各监控指标数据保存到指定的FTP服务器，与第三方系统进行对接。
MapReduce服务（MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为FusionInsight大数据企业级平台构筑，历经行
查看MRS集群运行状态 MRS支持创建多个集群，集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”，进入集群列表页面。 集群列表默认按创建时间顺序排列，集群列表参数说明如表1所示。
通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 问题背景与现象 通过客户端提交任务，客户端返回内存溢出的报错结果： 原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行，并且
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
