检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的租户名称。 目录名 产生告警的目录名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当监控的租户目录下的文件对象使用率超过用户自定义设置的阈值时触发该告警，但不影响对该目录继续写入文件。一旦超过该目录分配的最大文件对象个数，则HDFS写入数据会失败。
MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一
业务核心 应用程序通常只需要分别继承Mapper类和Reducer类，并重写其map和reduce方法来实现业务逻辑，它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示
如果服务右侧显示则表示该服务配置已过期。 监控状态报表： 主页界面的右侧为图表区，包含关键监控状态的报表，例如集群中所有主机的状态、主机CPU使用率、主机内存使用率等。用户可以自定义在图表区展示的监控报表，请参考查看MRS集群资源监控指标。 监控图表的数据来源可在图表的左下方查看，每个监控报表可以放大查看具体数值，也可以关闭不再显示。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当监控目录下的条目数超过系统阈值的90%触发该告警，但不影响对该目录继续增加条目。一旦超过系统最大阈值，继续增加条目会失败。 可能原因 监控目录的条目数超过系统阈值的90%。 处理步骤 检查系统中是否有不需要的文件。
行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24)
策略，使集群在不同的时间段自动调整参数值，从而更有效地利用资源。 系统管理员可以在Manager查看静态服务池各个服务使用资源的监控指标结果，包含监控指标如下： 服务总体CPU使用率 服务总体磁盘IO读速率 服务总体磁盘IO写速率 服务总体内存使用大小 查看静态资源（3.x及之后版本）
使用hcatalog方式同步数据，报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据，报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweiclou
数据表报错Too many parts解决方法 问题排查步骤 磁盘或其他存储介质问题导致merge过慢或者中止。 登录Manager页面，检查是否存在磁盘容量不足或其他磁盘告警，如果存在，请按照告警指导处理。 如果是磁盘容量不足，也可以联系客户删除部分过期数据，释放空间，快速恢复业务。
OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB由时间序列守护进程（TSD）和一组命令行实用程序组成。与Op
HDFS上设置配额导致HBase启动失败 问题现象 HBase启动失败。 原因分析 查看HMaster日志信息（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”），出现如下异常，The DiskSpace quota of /hbase is
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把
policies”中的策略，启用新的scheduler监控。设置为“true”表示启用监控，并根据scheduler的信息，启动抢占的功能。设置为“false”表示不启用。 false yarn.resourcemanager.scheduler.monitor.policies 设置与scheduler配合
指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围（85%），当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。 用户可通过“运维 >告警 >阈值设置 > 待操作集群的名称
读团体名 - 该参数仅在设置“版本”为V2C时可用，用于设置只读团体名。 写团体名 - 该参数仅在设置“版本”为V2C时可用，用于设置可写团体名。 安全用户名 test 该参数仅在设置“版本”为V3时可用，用于设置协议安全用户名。 认证协议 SHA 该参数仅在设置“版本”为V3时可用，用于设置认证协议，推荐选择SHA。
执行Kafka Topic设置ACL操作失败，提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-acls.sh --authorizer-properties zookeeper
如何关闭ZooKeeper的SASL认证？ 问： 怎么关闭ZooKeeper SASL认证？ 答： 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值：zookeeper
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
HBase表如何设置和修改数据保留期？ 创建表时指定 创建t_task_log表，列族f, TTL设置86400秒过期 create 't_task_log',{NAME => 'f', TTL=>'86400'} 在已有表的基础上指定： alter "t_task_log",NAME=>'data'
Web页面访问类 如何修改开源组件Web页面会话超时时间？ MRS租户管理中的动态资源计划页面无法刷新怎么办？ Kafka Topic监控页签在Manager页面不显示如何处理？ 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
