检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica
Hudi表索引设计规范 规则 禁止修改表索引类型。 Hudi表的索引会决定数据存储方式，随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下： 布隆索引：Spark引擎独有索引，采用bloomfiter机制，将布隆索引内容写入到Parquet文件的footer中。
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
ALM-12035 恢复失败后数据状态未知（2.x及以前版本） 告警解释 执行恢复任务失败后，系统会自动回滚，如果回滚失败，可能会导致数据丢失等问题，如果该情况出现，则上报告警，如果下一次该任务恢复成功，则发送恢复告警。 告警属性 告警ID 告警级别 可自动清除 12035 致命
配置NameNode黑名单功能 配置场景 本章节适用于MRS 3.x及后续版本。 在现有的缺省DFSclient failover proxy provider中，一旦某进程中的一个NameNode发生故障，在同一进程中的所有HDFS client实例都会尝试再次连接NameNode，导致应用长时间等待超时。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
ALM-19036 HBase关键目录数据存在坏块 告警解释 系统每5分钟周期性检测HBase服务的关键目录是否存在坏块，当检测到存在坏块时产生该告警。检查内容包括“hbase.version”文件、hbase:meta和master:store表目录。 当系统检测到HBase服务的关键目录都不存在坏块时，告警清除。
生成Flume服务端和客户端的配置文件 该操作指导安装工程师在集群及Flume服务安装完成后，分别配置Flume服务的服务端和客户端参数，使其可以正常工作。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
修改Kafka Topic配置 操作场景 用户可以根据业务需要，使用集群客户端创建Kafka Topic。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。 安全模式下，KafkaUI对修改Topic Con
Flume常用配置参数 MRS 3.x之前版本需在“properties.properties”文件中配置。 MRS 3.x及之后版本，部分参数可在Manager界面配置。 基本介绍 使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。
807_02/tables/dblv85.startsea_zh_imoriginck_new/20201031/piece_4/shards/1 has been successfully executed by 8%2D5%2D226%2D156#20220807124849_28651
Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档：http://hadoop
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档：http://hadoop
本地运行Spark程序连接MRS集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据，导入数据时可不创建索引。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。
mapPartitions接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构
【Hue WebUI】登录Hue WebUI报错无权限 现象描述 开启Kerberos认证的集群，使用admin用户登录Hue WebUI，报错“无权限或无法连接到hive server，请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
